פינוי דירה לא חוקית לאחר חתימת חוזה

לפני כחודש וחצי עברנו לדירה ריקה מרהיטים יש לציין, אשר אילצה אותנו לרכוש רהיטים ולהגדיל הוצאות. לפני כשבוע בעל הדירה התקשר אלינו בבקשה לפנות את הדירה עד סוף החודש מפני שהדירה לא חוקית ודרשו ממנו לפנות. האם אנחנו צריכות לשלם שכר דירה על החודש הזה? מה הזכויות שלנו?