הריסת גדר בין בתים ללא אישור

שלום רב יזם בבית סמוך אלינו ללא שום התראה מוקדמת ובזמן שהיינו בחול הרס חלק מגדר משותפת (באורך 2.5 מטר) והחליף אותה בחומת בטון בגובה של 2.5 מטר. כאשר דיברתי איתו סירב לפרק את החומה למרות שהודה שהם נכנסו אלינו לגינה ללא אישור על מנת לבצע את היציקה. טוען שמכיוון שלא היינו בבית היה הכרח לסיים את היציקה כין שיש צורך למלא אדמה בצד השני ושגובה החומה הוכתב לו ע"י העיריה. הוא מסרב לפצות אותנו או להחזיר את המצב לקדמותו. האם יש לו זכות כלשהיא לפעול בצורה זו?