Torpa stenhus anses vara, näst Glimmingehus i Skåne, Sveriges bäst bevarade senmedeltida borg. Torpa nämns i skriftliga källor 1397. Den norra delen är äldst och uppfördes av riksrådet Arvid Knutsson, förmodligen under 1400-talets slut och med visshet före 1509. Förutom storleken skilde sig denna stormannagård från vanliga gårdar genom att byggas i sten. Huset var 13 x 18 meter i fem låga våningar med ingången mot sjön Åsunden, placerad ett stycke upp på väggen i försvarssyfte. En brant sluttning ledde ner mot sjön, men när man på 1600-talet uppförde en hög terrassmur i norr och öster medförde utfyllnaden mellan hus och mur att entrén istället hamnade under marknivån. Tornet är från tidigt 1500-tal och omkring sekelskiftet 1600 byggdes den södra halvan till.

Vid 1600-talets slut byggdes i närheten en ståndsmässig bostad i trä istället. Stenborgen blev en representationsbyggnad och magasin; först för vapen och krigsbyten från 1600-talets många krig sedan för säd under 1700-talet. Borgen underhölls i befintligt skick fram till 1930-talet då intresset för byggnaden väcktes och en första restaurering gjordes.