Уже наверное не столько раздражают, сколько вызывают оскомину или ассоциируются с негативной стороной бытия.
Бывают "неудобные и неловкие" по ощущению фразы. Когда понимаешь, что в них нет ни искренности. ни соответствующего посыла, а лишь голимая и бездушная формальность. Например – "разрешите поздравить".. "позвольте выразить благодарность" и тп
Уже меньше, но всё же "коробит" безликое и отстранённое – "приветствую".
Неприятна речь откровенно пошлая, наполненная неприкрытой высокомерностью и безтактностью.
Что касается мата, то здесь зависит от вкладываемой человеком энергии – направленный негатив это, или эмоциональный всплекск.
Как-то смотрел южнокорейское кино с качественным, в плане передачи чувств и эмоций, переводом.
Там был мат, много мата, но это было настолько органично и эмоционально правдоподобно, что именно перевод оказал наибольшее впечатление.
Одно время общался с человеком (работа свела) для которого мат был просто родным языком. Любые чувства, эмоции и мысли он выражал используя нецензурную лексику. И это у всех воспринималось, также обыденно, как к примеру диалект иностранца.
Кстати, есть блогер на ютубе, по теме возрождения Руси и истинных знаний, Вячеслав Куланов. Много интересного рассказывает в том числе и про мат. Его понимание вкладываемого смысла попросту лишает слова негативного контекста.
В целом "коробят" не слова, а бездушность, речевая неадекватность и ложь.