En omhuldad sägen kring Torpa stenhus gäller hur kung Gustav Vasa kom till borgen 1552 för att skifta arvet efter den nyligen avlidna drottning Margareta, vars syster Brita Leijonhufvud bodde på Torpa med maken Gustaf Olofsson Stenbock. Kungen ska då ha träffat och förälskat sig i dottern, 16-åriga Katarina, som enligt berättelsen var förlovad med den jämnårige Gustaf Johansson Tre Rosor, så hon sprang och gömde sig. Sant är att kungen faktiskt gifte sig med Katarina i Vadstena i augusti samma år, men forskningen visar att kungens program 1552 knappast inkluderade ett besök på Torpa och arvsskiftet efter drottning Margareta skedde i Västerås. Historiens upphov har härletts till författaren och akademiledamoten Anders Fryxell (1795-1881). Hans fantasi åstadkom denna och många andra skrönor om den svenska historien som fått stark genomslagskraft och berättats tills de blivit sanningar.

Torpasägnerna berättar även om spökena Den grå damen och självaste Gustav Otto Stenbock, död 1685. I trapptornet lär det också finnas en inmurad flicka vars brott var att hon kunde vara pestsmittad!