El de los Gabiria fue uno de los principales linajes de Gipuzkoa.
Su participación en la guerra de bandos de los siglos XIV y XV fue muy destacada.
Con toda probabilidad, la torre original se encontraba en las inmediaciones, posiblemente un poco más alto, en la ladera cercana. En la segunda mitad del siglo XV la familia construyó una nueva torre más cercana al río, cuyos restos pueden aún apreciarse junto al palacio. Durante el siglo XVI, la torre de Gabiria fue remodelada y ampliada, adquiriendo el recio edificio medieval una imagen palaciega.
Finalmente, tras las obras realizadas en la primera mitad del siglo XVII, es cuando el edificio presenta la carencia de ornamentación típica barroca. Fue entonces cuando la fachada principal tomó su imagen actual. La decoración se concentra en las puertas y ventanas, de láminas delicadas, y en la obra de carpintería y forja.
En esta misma época (1634), se añadió el magnífico escudo esquinero.