Ausgrabungen ergaben, dass sich hier bereits im 12. Jahrhundert eine Kapelle befand, in deren Nähe sich der wohl älteste Markt in Osterode befand.

Ein Nonnenkloster der Zisterzienser befand sich hier bis zur Reformation 1561.
Dann wurde der Umbau zu einem landesherrlichen Schloss vorgenommen , wobei die St. Jacobi Kirche als Schlosskirche erhalten geblieben ist.

Ein grundlegender Umbau der Kirche erfolgte 1751/52 und erhielt damals ihre jetzige Gestalt. Der West- und Ostflügel wurden 1894 - 1899 abgerissen. Somit ist heute nur noch der Turm im Nordflügel (mit dem Kirchenschiff), sowie der Südflügel mit dem Amtsgericht erhalten geblieben.

Im Innern kann man den sehenswerten Altar, die Engelhard Orgel, ein berühmtes Epitaph von Peter Hartzing und das romanische Taufbecken bewundern.