關於租屋契約的問題，不知是否該怎麼辦 - 寵物

我最近撿到一隻流浪貓
有項圈，應屬於家貓逃出
我預計要暫時照顧牠，順便尋找主人或是找到好的飼主
(也已確定契約內沒有註明不得養寵物)
當我撿到貓的同時，沒多久房東即傳訊息給我
「有房客反應對貓過敏，所以要立即處理掉」
沒多久房東果然殺至租屋處把貓帶走
---------------------------------------------------------------------------------------
我確實很不滿意，但是我對於契約類的法律不了解
我想問，房東到底有沒有權利要求我速速把貓送走
我自己的想法是，既然沒註明！代表可以養，別的房客對貓過敏應該不關我的事情
如果我說了，房東說要立即更改契約，他是否有這權力？
我是否有拒絕權力？
如果房東堅持更改契約，我是否可要求他退還房租，進而搬出？
已更新項目:
可是契約上不應該是白紙黑字，別的房客做出這件事情
不算是侵犯到我的權益嗎？