ביטול חוזה לפני כניסה לדירה

ב26.11 חתמנו חוזה שכירות לתאריך 1.1.2020 לאחר בדיקות שערכנו גילנו כי הבחור נכה נפשית מקבל קצבה בעל עבר פלילי עשיר ופתוחים נגדו תיקים בהוצאה לפועל והודענו לו כי אנו מבטלים את החוזה בטענה כי הדייר שגר בדירה מעוניין להמשיך להתגורר בדירה החזרנו לו 3000 שח שנתן לנו על החשבון העתק של החוזה נשלח לו במייל, הודעת הביטול נאמרה לו בשיחת טלפון האם הוא יכול לתבוע אותנו על הפרת חוזה? בחוזה לא היה סעיף שמתייחס לזה?