Le origini leggendarie dei castelli di Pont risalgono a Re Arduino (X secolo), ma storicamente il feudo di Pont e Valli, comprendente le valli Orco e Soana, era controllato dai De Canavise, poi divisi nei rami Valperga e San Martino, spesso in conflitto tra loro.
A Pont i San Martino possedevano il Castrum Pontis (oggi rudere) e il Tellario, mentre i Valperga controllavano un castello con l’alta Torre Ferranda (circa 40 metri), recentemente restaurata. Si pensa che i due castelli derivassero da un’unica struttura, poi divisa tra le due famiglie.
Nel 1185 i Valperga protestarono contro i San Martino per la costruzione del Tellario, più alto della Ferranda, violando i patti. Durante la Guerra del Canavese (1339-1343) i Valperga, con aiuto esterno, assaltarono e distrussero il Castrum Pontis.
Nel 1535, durante le rivolte popolari contro le tasse, i rivoltosi danneggiarono gravemente la Torre Ferranda. Solo nel 1539 il generale Cesare Maggi riportò l’ordine.
Nel Cinquecento il borgo di Pont si sviluppava lungo l’attuale via Caviglione, con case porticate e un ricetto fortificato lungo via Soana, chiamato anche Receptum Ferrandae. Già nel XVII secolo borgo e ricetto si erano fusi in un unico abitato senza mura, ma con case disposte in modo difensivo.
Dal Seicento i castelli vennero abbandonati; nel 1870 la Torre Ferranda apparteneva al sindaco Tosetti, mentre durante l’ultima guerra risultava di proprietà della parrocchia di Pont.