La Tellaria (o Castrum Thelari) fu costruita alla fine del XII secolo dai conti di San Martino e Rivarolo sulla collina chiamata Montiglio o Tellario, per controllare l’accesso alla valle dell’Orco. Attorno al castello c’era un borgo fortificato (ricetto) con ingresso nell’attuale via Sparone.
Il nome potrebbe derivare da un rilievo artificiale (tell), da strutture in ferro (tle) o dai tigli (tej) presenti nella zona. Secondo una leggenda, nel castello fu imprigionata una donna misteriosa legata alla figura di Madama Rua, descritta come strega o ammaliatrice.
Nel 1539 fu distrutto dai mercenari di Cesare Maggi durante le guerre franco-spagnole. Successivamente passò di proprietà più volte e subì modifiche, fino al recupero da parte del Comune.
Ai piedi del castello c’erano case, botteghe e laboratori; durante la peste del 1630 ospitarono gli appestati e la zona prese il nome di Ghet, tuttora in uso.
