Un simple error en el robots.txt de nuestro sitio puede complicar o directamente anular la indexación de toda una sección de nuestro sitio. Realmente no se que puede ocurrir cuando los buscadores encuentran un error de sintaxis, quizás haga caso omiso del error, no obstante lo mejor es evitar cualquier posible problema.
Buscando en Google sobre la sintaxis correcta para elaborar un robots.txt encontré una herramienta que la revisa automáticamente al mejor estilo W3C Validator, la herramienta en cuestión la pueden probar en Robots.txt syntax checker.