Na hribu Pungart so razvaline prvotnega ižanskega gradu, Ižanskega turna, omenjenega že leta 1261. Zdajšnji grad Sonnegg se prvič omenja 1436. leta. V 15. stoletju so bili lastniki gradu protestantski plemiči, ki so v verski gorečnosti razdejali bližnjo gotsko, sicer katoliško cerkev sv. Jurija in obglavili ter zažgali kip svetnika. O dogodku je pisal tudi Valvasor v Slavi vojvodine Kranjske, s pripisom, da so na isti način kasneje domačini obračunali tudi s plemičem. V revolucionarnem letu 1848 je bil grad prizorišče zadnjega kmečkega upora in sežigu gruntnih knjig.
Med zadnjo svetovno vojno je bil grad požgan, danes pa so v grajskih prostorih zapori, zato je grad z okolico zaprto območje.
