我想离婚,这种情况可以不用扶养小孩吗…

我想离婚,这种情况可以不用扶养小孩吗?老婆对我怀凝有外遇,外遇不是事实,对我多次无端的指责,我多次解释无效,为此事曾打过她.但最近又为这事争吵,至使双方感情破裂,协议无效.这样的前提下提出离婚我可以让她抚养唯一的一个殘疾的小孩吗?