[Jandro30]

Me gustaria saber si el siguiente archivo robots.txt bloque las paginas de ser indexadas o no, gracias:

User-agent: * 
Disallow: 
Disallow: /cgi-bin/

 

[Alice Sawn]

El archivo robots.txt lo vas a necesitar si en tu pagina web tienes contenido que no quieres que los buscadores te indexen. User-agent es los buscadores, si ponemos como en el ejemplo tuyo o mío el * significa que estas reglas son para todos los buscadores.

 

Por lo que veo, si lo que quieres es que no te indexe absolutamente nada en tu site, sería esto:

 

User-agent: *
Disallow: /

[Alberto Hernandez]

No, no bloquea todo el sitio, con la ultima linea estas indicando que solo bloquee el directorio  /cgi-bin/, de resto todo lo demas se indexara.

[Steve Blanc]

La segunda linea no es requerida, ya que la accion por defecto es allow. Saludos

[David Sanz]

Si andas muy liado con el tema de robots.txt, aquí puedes crearlo y testearlo con el motor de búsqueda de Google, se agradece para testear antes de plantarlo:

 

Por favor Identificate o Registrate para poder ver este contenido

 

 

Y para los que quieran usar robots.txt para ocultar carpetas o archivos, tener en cuenta que usando robots.txt para hacer esto lo que estais haciendo es enseñando a todo el mundo que es lo que capais. En temas de seguridad es algo flojo. Mejor será que no sepan donde está la info importante a ocultar. Por eso usarlo para cosas genéricas, de ayuda al rastreo de buscadores pero no a grandes cosas privadas.

[Julian10]

Como dice David, debes hacerlo con la herramienta para webmasters de Google, te vas a la sección de Rastreo y allí tienes la opción llamada Probador de robots.txt, te dejo el enlace directo, pero debes tener una cuenta Google y tu página debe haber pasado la verificación de la herramienta para poder utilizar la funcionalidad:

 

Por favor Identificate o Registrate para poder ver este contenido

[Jandro30]

Gracias a todos por sus respuesta, utilizare las herramientas que me comentan para probar mi archivo, asi voy seguro jejeje

[Silvia]

Os dejo esta web de robots, que es la oficial y te indica bien todas las opciones y fórmulas que se pueden realizar.

 

Por favor Identificate o Registrate para poder ver este contenido