А этот момент что то меняет в Вашей ситуации? 
Да. От христианина грубо-не христианские поступки намного тяжелее претерпевать. Например хамство на христианских форумах, хотя на мирских легко.
отказ всегда несет в себе некий негативный момент и наверное поэтому от него неприятное ощущение в душе...
Видимо - да. И особенно сильно, если есть уже в душе что-то нехорошее к этому человеку от предыдущего общения.
Нашёл у Аввы Дорофея ответ на эти вопросы:
"Вопрос 66: Отец мой! Если кто просит вещи, как мне выдать её с приветливостию, когда я сомневаюсь сначала? Ибо когда даю с принуждением, то душа моя бывает жестока и недовольна.
Ответ Иоанна: Если узнаешь, что
просящий просит по нужде, дай ему с радостию, как выдавая из даров Божиих. В этом и состоит приветливость. Если же знаешь,
что он просит без нужды, не давай ему, но скажи: мне дана заповедь от Аввы ничего не давать не имеющему нужды;
и это не будет жестокость. Господь да вразумит тебя."
