Не пускать к себе в квартиру вы вполне можете любого человека (жилище не прикосновенно.  Просто говорим об этом человеку, пришедшему к вам, и все.

Разговаривать с ними тоже вовсе не обязательно.

Если у Вас продолжают требовать открытия двери и оплаты долга - вызываем полицию и сообщаем, что с вас не знакомый вам человек вымогает деньги (Ст.163 УК РФ - Вымогательство).