Los robots de los buscadores también se conocen como spiders

Yo desde que inicie en el mundo de los sitios web, note que en muchos proyectos libres para crear tu propio foro, blog u otro sitio, en todos incluían el archivo robots.txt y no sabia para que servia, pero después de iniciar con mi blog empece a averiguar todo lo que pude y ahora entiendo la importancia de este archivo de texto.

¿Que es y para que sirve robots.txt?

Robots.txt es un archivo de texto donde se especifican los permisos para que los robots de los buscadores puedan indexar tu sitio web en los resultados, esto a primera instancia suena bien, pero voy a dar una breve explicación sobre la edición optima de este archivo de texto, ya que algunos dicen que solo con optimizar su archivo robots.txt mejoraron 1400% el trafico en su sitio web.
Sigue leyendo →