Slottets äldsta delar började att uppföras på 1640-talet. Byggherre var greven Per Brahe dy (1602-1680) som hade ärvt Bogesundslandet 1630. Den ursprungliga byggnaden utgör kärnan i det nuvarande slottet. Den var fyra våningar hög i en närmast kubisk byggnad med ett brutet sadeltak och en takaltan. Vid sidan av slottet fanns ett antal ekonomibyggnader samt två lusthus ute i trädgården.
Under 1700- och 1800-talen fanns framför slottet flygelbyggnader som senare har rivits.

Per Brahe dy gravy av Ida Falander

Förutom ätten Brahe har Bogesund ägts av medlemmar av ätten Hamilton, von Rosen och von Lantingshausen von Höpken.
I slottet finns en väl bevarad planlösning, stomme och inredningsdetaljer från 1600-talet. Vidare finns snickerier, kakelugnar och tapeter från sena 1700-talet och det tidiga 1800-talet.
Den största förändringen som slottet genomgått utfördes mellan åren 1864 och 1867 då slottet byggdes till i något som kan kallas medeltidsromantisk stil. Då hette ägaren Nils Albrekt von Lantingshausen von Höpken. Arkitekt var Thor Medelplan och Fredrik Wilhelm Scholander utformade portiken vid huvudéntren.
Man tillförde fyra krenelerade torn och på gavlarna mellan tornen två våningar som bl.a. innehåller ett kapell, en matsal och en vinterträdgård. Samtidigt utfördes omfattande målningsarbeten samt omtapetsering och nya kakelugnar sattes in. Parken omdanades i tysk romantisk stil med slingrande gångar, exotiska trädslag och blomsterbroderier. Öster om parken fanns en trädgård med fruktodlingar, växthus och ett lusthus.

År 1946 inlöste staten egendomen med hjälp av en speciallag ”lex Bogesund”. Slottet blev förklarat byggnadsminne 1948 och förvaltades då av Byggnadsstyrelsen. Under åren 1969 t.o.m. 1972 genomfördes en fasadrenovering med hel omputsning och nya fönster sattes in. Parken, som har träd hemförda från olika delar av världen, åtgärdades 1973.

Från och med 1993 tog det nybildade Statens Fastighetsverk över förvaltningen av slott med park, samt vandrarhemmet som ligger några hundra meter öster om slottet.