A kastély alapját egy vár adta, amit már 1458-ben említenek a korabeli feljegyzések. Az 1600-as évek elején a törökök többször megpróbálták elfoglalni a várat, ami aztán 1636-ban porig égett. Később a várat újjáépítették, árkait ekkor földsánc vette körül, amit fapalánkok egészítettek ki, ezeknek nyoma még ma is látható. A XVIII. században a Szapáry család – a terület akkori birtokosa – a vár egy részének felhasználásával kezdte felépíteni kastélyát.

A Szapáry-kastély 1820-ban, házasság révén került az Andrássy család birtokába, hasonlóan a letenyei Szapáry–Andrássy-kastélyhoz.

A szécsiszigeti kastély valaha földesúri székhely, lakóhely, gazdasági és birtokigazgatási központ volt, ma az épület felújított, vakolt szárnya lakórész, amihez magtár csatlakozik.

Az épület eredetileg U alakú volt, mára egy L betűt formáló, egyemeletes ház maradt belőle. Mesterséges dombon áll a barokk stílusú kastély, amelyet 1999-ben egy közösen nyert osztrák–szlovén–magyar uniós pályázat során renováltak.

Ma itt találjuk a Kerka-mente Natúrpark központját, valamint a kastély a Dél-Zalai Erdőtáj Kerékpárút központja is. Az ide érkező kerékpáros turistákat szálláshely, étel és ital várja az épületben, de a kerékpárok javításában és bicikli kölcsönzésben is tudnak segíteni a kastélynál.