Explicación y utilización de ficheros ROBOTS.TXT

Tema en 'Webmasters' iniciado por Caoz_, 2 Abr 2009.

  1. Cao

    Caoz_
    Expand Collapse
    Teniente Coronel

    Mensajes:
    1.625
    Me Gusta recibidos:
    1
    ¿Como saber si una página Web necesita un Fichero Robots.txt?
    La pregunta es buena, pero la respuesta la dejamos para el final; vamos a comenzar con otra pregunta, igual de buena.

    ¿Para que sirve un fichero Robots.txt?
    El fichero Robots.txt SOLO sirve para decirle a los robots de los buscadores (Googlebot, Yahoo Slurp, MSNbot, Scooter, etc) QUE PAGINAS O PARTES NO QUIERES QUE VISITEN NI INDEXEN de tus páginas Web. Los robots o arañas de los buscadores leen el fichero robots.txt ANTES que la página, y no visitarán las páginas o secciones (carpetas-directorios) de tu web que le indiques.

    ¿Entonces, un fichero Robots.txt no vale para mejorar la indexación de la página Web?
    Si, pero de forma indirecta, y no como efecto principal.

    ¿Como saber si una página Web necesita un Fichero Robots.txt?
    Ahora si: Es posible colocar una fichero Robots.txt en la mayoría de las páginas Web, aunque esté vacio, pero donde es realmente importante es en Webs de contenido dinámico: Foros, Blogs, Gestores de contenidos CMS, tiendas y catálogos Online, páginas con apartados privados, etc.

    ¿Que debemos escribir en un Fichero Robots.txt?
    No vamos a contaros como hacer un robots,txt y subirlo a vuestra Web, hay miles de sitios con buena información para hacerlo; nosotros sólo vamos a aconsejaros que incluir en él.
    Deberías prohibir la indexación de los apartados privados y de administración, apartados de estadísticas, páginas de identificación-login, listados de usuarios, y en general todo lo que no aporte contenidos atractivos a tu web, páginas por las que no deseas ser encontrado en una búsqueda en Google, Yahoo, Live y demás buscadores. Así mismo, debería impedir el acceso de los Robots a un mismo contenido en más de una ubicación(por ejemplo, distintas Categorías en los Blogs), para evitar que aparezcan como contenidos duplicados, y por lo tanto, en resultados suplementarios.
    Podemos también impedir con el robots.txt la indexación de nuestras imágenes, documentos en formato PDF, XLS, DOC, etc.

    ¿Como puede mejorar nuestra indexación el Fichero Robots.txt?
    Aunque se supone que es para explicarle a los robots de los buscadores LO QUE NO QUEREMOS INDEXAR, al cerrarles esas puertas, cuando los robots lleguen a nuestra Web tendrán más tiempo y posibilidades de encontrar los nuevos contenidos que no les están vetados por las instrucciones del robots.txt

    Y para finalizar, si somos capaces de crear un fichero Robots.txt que evite perder el tiempo y esfuerzo a Googlebot y compañía, y lo unimos a un sitemap actualizado, el tiempo que los robots dediquen a nuestra Web será mucho mejor aprovechado que si dejamos todo en sus "robóticas manos". El robots.txt les dirá: POR AQUI NO !!, mientras que el sitemap les dirá: PASEN POR AQUI SEÑORES, LES ESTABAMOS ESPERANDO.
     
  2. ElC

    ElChoe Aaron
    Expand Collapse
    Coronel
    Usuario destacado

    Mensajes:
    3.943
    Me Gusta recibidos:
    23
    esta bueno yo nunca supe hacer eso.

    pero aparte ahora estoy informado.
     

Compartir esta página