Programación Web y SEO, Ingeniero Industrial

Cuánto tiempo le cuesta a Google desbloquear una web bloqueada por robots.txt

He subido hace pocos días una Web a Google para que la indexara en:  www.google.es/addurl/

Cuando menuda mala sorpresa me he llevado…

Qué me ocurrió

Mientras realizaba la Web y la configuraba dejé la página bloqueada a buscadores. La Web está realizada en WordPress y realicé la siguiente acción para que las páginas de prueba no se indexaran en google:

Ajustes > Privacidad > Visibilidad del sitio > Quiero bloquear los motores de búsqueda, pero permitir visitantes normales.

Una vez terminada la Web volví a entrar en ajustes y la desbloqueé. Hecho esto entré en la dirección que he puesto arriba para añadir la Web al buscador.

Pasado un día o día y medio entré a comprobar que tal se había indexado. Para mi sorpresa no estaba indexada!!!

Cómo lo he intentado solucionar

Empecé a entrar en alarma e instalé Google Webmasters para analizar qué estaba ocurriendo. Admás cuando instalamos Google Webmasters debemos esperar un día para comprobar los resultados…

Al día siguiente entré y me encontré que robots.txt esta bloqueando al buscador con esta sentencia:

useragent: *
disallow: /

Es decir, estaba bloqueando al buscador, a pesar de que había desbloqueado mi Web!!!!!!!!!!!

Rápidamente cambié el robots.txt y puse disallow en:

useragent:*
allow: /

¿Cuántos días ha tarda Google en desbloquear una Web?

Actualmente han pasado 7 días y la Web sigue bloqueada. He buscado en esta página información para  conocer cuánto tiempo le cuesta a Google desbloquear una web bloqueada por robots.txt:

http://www.komar.org/contact/robots.txt/

En resumen el autor comenta esto (datos de 2007):

So when did the search results show the page? I checked daily in the morning … and Google was the first to show results on March 1st (T+11 days) with a cache time/date of 1126 on Feb 25th – same as above. Yahoo showed results on March 3rd (T+13 days). and LiveSearch was at March 7th at (T+17 days).

Que traducido al español indica los siguientes datos de tiempo de desbloqueo de una Web bloqueada por el archivo robots.txt:

  • Google, tardó 11 días
  • Yahoo, tardó 13 días,
  • y el antiguo LiveSearch ahora bing.com, tardó 17 días

Google, cuándo vas a modificar mi robots.txt???

¿Os ha ocurrido lo mismo?

¿Cuántos días ha tardado Google en desbloquear vuestra Web?

6 respuestas a Cuánto tiempo le cuesta a Google desbloquear una web bloqueada por robots.txt

Página 1 de 11
  • Buenas Eduardo

    Me ha pasado lo mismo que a ti y me estoy volviendo loco
    Yo utilizo los servidores de wordpress para el alojamiento de la web pero y pongo la opción de “Allow search engines to index this site” y cuando paso la herramienta de webmaster sitemap.xml me dice que mi robot.txt bloquea algunas páginas
    y mi pregunta es ¿por que me dice que el robot bloquea algunas de mis páginas cuando tengo la opción de allow ¿marcada?

    Gracias

    • He revisado tu robots.txt y está correcto.
      Tienes que tener paciencia. Las herramientas para webmasters de google tienen un retraso entre lo que se visualiza y los últimos cambios. Déjalo un par de días y lo vuelves a mirar.

      Un par de consejos: desde google webmasters reenvia el sitemap.xml de nuevo y en la opción rastrear como el bucador reenvias el sitio web completo. Calcula unos 10 días para que google lea todo. Activate una alerta de google.

      Coméntame en unos días si lo has logrado!

      • miguel angel novoa dice:

        Eduardo

        Todo perfecto como tu bien dijiste era cosa de paciencia, disculpa que no te haya contestado antes pero no me había llegado nada de tu respuesta al mail y he entrado por casualidad

        mil gracias

  • ¿No probaste a aumentar la frecuencia de rastreo de GoogleBot en la herramienta de Webmaster Central?

    Si GoogleBot ha pasado anteriormente varias veces y ha visto que no podía indexarla su frecuencia de rastreo aumenta si no ve cambios pero puedes forzarlo a que lo visite antes. Hasta que no volvió a pasar el robot no vio los cambios en tu web.

    Puedes acelerar también la indexación añadiendo un enlace en una web ya indexada que tenga una frecuencia de rastreo y actualización diaria.

    • eduardo dice:

      Gracias! no se me había ocurrido.

      He realizado los siguientes cambios:
      1º He aumentado la frecuencia de rastreo de Googlebot desde Webmaster central.
      2º He añadido enlaces desde otra Web que tengo (un blog de blogger que es rapidísimo en indexar noticias nuevas), hacia las páginas que estaban bloqueadas.
      3º He mejorado el robots.txt modificando otra vez la sintaxis y comprobándola con la herramienta http://tool.motoricerca.info/robots-checker.phtml

      La nueva sintaxis es:

      User-agent: *
      Sitemap: http://www.nombre-de-mi-web.com/sitemap.xml
      Disallow:

      La web la subí a Google el 10/11/2011.
      A fecha 18/11/2011la araña sigue sin pasar a leer el sitio desde que he corregido el robots.txt que bloqueaba todo.

Página 1 de 11

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos necesarios están marcados *

Categorías del Blog
Comprueba dominios libres