Si WordPress está bien optimizado, el tema no es muy pesado, el server responde bien y todo está bien minificado, no ha problema en usar plugins. Yo sin embargo soy más reacio a tocar código aunque sean pocas líneas ya que en las actualizaciones de la plataforma se pierden. Solo toco CSS o PHP siempre que sea en temas hijo (como expliqué aquí).
Crear tema hijo no es complicado, realmente son unos cuantos pasos, copiar y pegar código y crear una cierta serie de archivos en nuestro server, pero teniendo un plugin como «Child Theme Configurator» en el repositorio oficial de WordPress, no es necesario «pringarse» tanto.
Muchas veces pasa, dependiendo la configuración de los servidores que tengamos contratados y otras movidas varias, los correos electrónicos que genera nuestra plataforma de WordPress, ya sean a través de un formulario de contacto, formulario de altas o incluso a la hora de suscribirse al blog entran directamente a la bandeja de SPAM ademas de aparecer el remitente «WordPress». Para evitar esto podemos hacerlo de varias maneras (como siempre).