В целом, если рассматривать рефакторинг как некоторый Процесс, выполнение которого приводит к более читаемому, более поддерживаемому, более изменяемому коду и более гибкой, более чистой архитектуре (т.е. Результату), то можно выделить основные направления критики рефакторинга:

• Результат не является приоритетной бизнес-целью (если вообще входит в бизнес-цели), поэтому и Процесс не нужен.
• Процесс не приводит к Результату, Рефакторинг слабо влияет на качество
• Процесс не является самым эффективным способом достижения Результата Рефакторинг не поможет при плохой архитектуре

Во многом, из-за этих аргументов рефакторинг сейчас не является частью культуры многих команд, остается в качестве хобби и увлечения для отдельных участников Рефакторинг - личное желание.