En la propia Plaza de la Villa y aledaña a la Iglesia, se encuentra este soberbio monumento. Por su historia, es uno de los lugares más emblemáticos de Cantabria. Por delante de su fachada pasaba el camino Real. Y allí remataba.
El conjunto monumental está acuñado por el transcurso del tiempo y desde su torre del Siglo XV y cuyo interior fue destruido en un incendio en el Siglo XVIII, fueron naciendo añadidos y alas, hasta llegar a su distribución actual, coetánea del incendio.
Allí han nacido y vivido, durante muchas generaciones , militares, clérigos, letrados y héroes que han dado renombre al pueblo de Noja.
Un viejo y gastado escudo que da paso a la torre, con las armas de Castillo, tiene a sus lados una leyenda que dice: «Casa y solar de Castillo, cabeza de vando de negretes, hermana de la que esta sita en castillo…»
En la edad media las luchas «banderizas», enfrentaban a unas y otras familias en defensa o en contra de la Corona. Trasmiera no fue ajena, Noja tampoco, y Castillos, Velascos, Veneros y otras familias de alcurnia peleaban en función de sus alianzas y matrimonios.
Giles y Negretes eran los bandos más influyentes en la comarca, y sólo la llegada de los Reyes Católicos, acabó con los poderes de estas facciones.
La casa de Velasco- o de Castillo- dio, repetimos, caballeros de distintas Órdenes, títulos nobiliarios y, entre ellos, uno excepcional, el «Héroe del Morro de la Habana», Don Luis Vicente de Velasco y Fernandez de Isla, capitán de navío de la Armada Real que murió en defensa de España, ante la armada inglesa, el 31 de Julio de 1762. Natural de Noja, fue admirado por sus enemigos, que cuando pasan ante la costa nojeña disparan salvas de honor y honrado por la marina española que «siempre tendrá un navío, llamado Velasco».
La casa-palacio de Noja, arquitectónicamente está compuesta por un edificio que forma en «U», con la torre, un patio central, y una fachada con tres escudos, uno en el centro con las armas de Velasco y Castillo, timbrado con corona de marqués y montado sobre cruz de Santiago.
El primer Marqués de Velasco- el héroe de la Habana falleció soltero- fue un sobrino, D. Iñigo de Velasco y Collantes, nacido en Noja en 1700.
Hay dos escudos más en la fachada, importantes, barrocos y muy adornados, con las armas de las familias Santelices y Fernández de Isla.
Otra curiosa pieza, que se encuentra sobre la puerta que une las dos alas del palacio es un precioso reloj de sol de doble esfera, una en posición ortogonal, apoyada en la fachada y otra cenital , colocada en la terraza.
