robots.txt y bloqueo de paginas
Iniciado por
Jandro30
, may 05 2015 14:47
Solución elegida por el autor
Iniciado por
David Sanz
, 05 mayo 2015 - 18:23
Si andas muy liado con el tema de robots.txt, aquí puedes crearlo y testearlo con el motor de búsqueda de Google, se agradece para testear antes de plantarlo:
Por favor Identificate o Registrate para poder ver este contenido
Y para los que quieran usar robots.txt para ocultar carpetas o archivos, tener en cuenta que usando robots.txt para hacer esto lo que estais haciendo es enseñando a todo el mundo que es lo que capais. En temas de seguridad es algo flojo. Mejor será que no sepan donde está la info importante a ocultar. Por eso usarlo para cosas genéricas, de ayuda al rastreo de buscadores pero no a grandes cosas privadas.
Ver solución completa
Pulsa corazón para recibir avisos de nuevas Respuestas
Jandro30
AUTOR PREGUNTA
#1
Publicado 05 mayo 2015 - 14:47
Me gustaria saber si el siguiente archivo robots.txt bloque las paginas de ser indexadas o no, gracias:
User-agent: *
Disallow:
Disallow: /cgi-bin/
Esto también te interesa!
Alice Sawn
#2
Publicado 05 mayo 2015 - 18:12
El archivo robots.txt lo vas a necesitar si en tu pagina web tienes contenido que no quieres que los buscadores te indexen. User-agent es los buscadores, si ponemos como en el ejemplo tuyo o mío el * significa que estas reglas son para todos los buscadores.
Por lo que veo, si lo que quieres es que no te indexe absolutamente nada en tu site, sería esto:
User-agent: *
Disallow: /
Alberto Hernandez
#3
Publicado 05 mayo 2015 - 18:17
No, no bloquea todo el sitio, con la ultima linea estas indicando que solo bloquee el directorio /cgi-bin/, de resto todo lo demas se indexara.
Steve Blanc
#4
Publicado 05 mayo 2015 - 18:22
La segunda linea no es requerida, ya que la accion por defecto es allow. Saludos
David Sanz
#5
Publicado
05 mayo 2015 - 18:23
Si andas muy liado con el tema de robots.txt, aquí puedes crearlo y testearlo con el motor de búsqueda de Google, se agradece para testear antes de plantarlo:
Por favor Identificate o Registrate para poder ver este contenido
Y para los que quieran usar robots.txt para ocultar carpetas o archivos, tener en cuenta que usando robots.txt para hacer esto lo que estais haciendo es enseñando a todo el mundo que es lo que capais. En temas de seguridad es algo flojo. Mejor será que no sepan donde está la info importante a ocultar. Por eso usarlo para cosas genéricas, de ayuda al rastreo de buscadores pero no a grandes cosas privadas.
Julian10
#6
Publicado 05 mayo 2015 - 21:19
Como dice David, debes hacerlo con la herramienta para webmasters de Google, te vas a la sección de Rastreo y allí tienes la opción llamada Probador de robots.txt, te dejo el enlace directo, pero debes tener una cuenta Google y tu página debe haber pasado la verificación de la herramienta para poder utilizar la funcionalidad:
Jandro30
AUTOR PREGUNTA
#7
Publicado 06 mayo 2015 - 02:15
Gracias a todos por sus respuesta, utilizare las herramientas que me comentan para probar mi archivo, asi voy seguro jejeje
Silvia
#8
Publicado 17 abril 2016 - 08:30
Os dejo esta web de robots, que es la oficial y te indica bien todas las opciones y fórmulas que se pueden realizar.
Por favor Identificate o Registrate para poder ver este contenido
Respuesta de
Silvia
Cuenta Std
67
