חריגות בנייה בבית פרטי

קניתי בית קרקע מיורשים ועשינו חוזה, ונספח לחוזה, המגדיר, חריגת בנייה אחת. כשבא השמאי של הבנק גילה כי ישנם עוד הרבה חריגות. והממד לא תקני. פנינו ליורשים לפצות, בהדרת עיקר הדין "ייזהר המוכר". הם טוענים שאין כאן "ייזהר המוכר" בגלל שהם יורשים ולא ידעו על החריגות. למרות שהבית היה בבעלותם תקופה של שנה וחצי והושכר. האם יש נכון בטענתם?