Для ответа на ваш вопрос нужно понимать основания предоставления вам комнат в общежитии. Если предоставление двух комнат было обусловлено именно необходимостью проживания в одной из них сына-инвалида, то вы действительно можете лишиться одной из комнат.