Slottets historie går 600 år tilbage til slægten Dyre, der dengang havde sæde på slottet. Man mener dog at kunne datere slottet helt tilbage til 1200-tallet.

Navnet Tirsbæk er gammelt. Tir stammer fra guden Odins søn Tyr. Dronning Thyras navn ses i forbindelse med Thyrsbæk. Der har tidligere ligget et tempel på slottets placering. Da kristendommen sejrede, lod dronning Thyra templet omdanne til et slot.

H.C. Andersen besøgte slottet i 1830. Han skriver i et brev: “Jeg var også på Tiersbæk, Thyras Bæk, da Gårdens første Bygning jo er skeet af Dronning Dannevold, men det blev så øsende Regn, at jeg slet ikke kom i den dejlige Skov, der her strakte sig langs Vejle Fjord”. I dag ejes og beboes slottet af familien Algreen-Ussing.

Rundvisningen foregår ved slottet og i haven, men ikke på selve slottet.