Die Burg selbst besteht erst seit Beginn des 17. Jahrhunderts. Zuvor wurde der Platz als Residenz genutzt, aber nie zu einer Burg ausgebaut. Nach zwei Jahren Bauzeit war die Burg für den Fürsten Yamauchi Katsutoyo und seiner Frau bezugsfertig. Dank einer Vergütung im Sekigahara Krieg 1600 konnte er diese Burg finanzieren.

Der Turm zeigte markante Merkmale auf, wie das Design der Dachgabeln und das schwarz lackierte Geländer am Balkon. Dabei wurde oft betont, dass es wegen der Sonneneinstrahlung sehr schwierig sei, die Farbe aufrecht zu erhalten.  An der nordöstlichen Ecke des Turms wurden schwarze Stacheln angebracht, die auch als Ninja-Abwehr bekannt sind. Die Steine für das Mauerwerk wurde übrigens aus der direkten Umgebung von Kochi verwendet. Die Form der Mauern hatten meistens eine L-Form, sodass der Feind einen nicht über die Anlage sehen konnte.  Als Befestigungsanlage wurden drei Zitadellen erschaffen, die jedoch sehr viel Zeit in Anspruch nahmen.

Die Fertigstellung der gesamten Anlage konnte Yamauchi Katsutoyo jedoch nicht erleben. Diese war erst 10 Jahre später. 1727 wurde die Burganlage durch ein Feuer niedergebrannt, nur das Otemon Tor blieb als einziges bestehen. Es brauchte über 20 Jahre, um die Gebäude wiederaufzubauen.

Wie im Reisebeitrag erwähnt, wurde ein Film über die Beziehung zwischen Yamauchi Katsutoyo und seiner Frau Chiyo produziert. Der Legende nach sollte sie sehr schön und klug gewesen sein. Sie sollte auch während der Kriege Ratschläge zu strategischen Positionen gegeben haben und ihn damit vom Samurai zum Provinzhalter verholfen haben.