יציאה מדירה לפני תום החוזה

שלום, אני חתום על חוזה שטרם נגמר,לפני כחודש הייתה ביקורת של העירייה בדירה והתברר שהיא מחולקת באופן בלתי חוקי, נציגי העירייה הודיעו לי שבעל הבית מחוייב להחזיר את הדירה לקדמותה תוך 60 יום. מאז בעל הבית דורש נחרצות שאעזוב את הדירה בהקדם וטוען שאינו מוכן לשלם שום פיצוי בגין הפינוי בטרם תום החוזה. האם יש דרך להכריח אותו (משפטית) לשלם פיצוי? האם זה לא מקרה של "מילה כנגד מילה" כשבעל הבית יכול במעמד משפטי למסור שאני רציתי לעזוב? האם יש עילה לתביעה?