Non vi è dubbio che in questa località sorgesse, durante il Medioevo, un castello antico e fortissimo: lo affermano concordemente sia i cronisti vicentini che quelli veronesi, i quali lo definiscono oggetto di aspre contese tra Vicenza e Verona. Appare verosimile che esso sorgesse nell’area occupata nel XIV secolo dalla domus dominicalis dei nobili Nogarola, sostituita poi nel Cinquecento dalla palladiana Villa Pisani.
L’origine del castello è ignota, ma dalla sua presumibile ubicazione si può pensare ad una fortificazione fatta erigere dai Malacappella a metà strada tra Lonigo e Cologna, quindi al centro del territorio di loro giurisdizione comitale. Secondo il cronista dell’epoca Gerardo Maurisio, il castello fu distrutto nel 1236 da Ezzelino III da Romano che, secondo il Barbarano, in tale impresa sarebbe stato aiutato dai Malacappella, imparentati con il conte Alberto Maltraversi di Vicenza, cognato di Ezzelino.
Non sembra, però, che nel 1236 Ezzelino abbia completamente distrutto il castello; appena quattro anni dopo, infatti, mentre anche Lonigo e Pojana Maggiore si arrendevano al tiranno, Bagnolo fu nuovamente preso e questa volta il castello venne spianato.