La araña de Google (también llamada crawler) es el robot de rastreo que se encarga de analizar nuestra web. Aunque, realmente, no es sólo uno sino varios bots los que se encargan de hacer este trabajo. Dos versiones de esta araña de Google son: deepbot y freshbot.
Cuando éstos encuentran una web, viajan de un enlace a otro en busca de contenido relevante. Estas urls serán guardadas en un índice (indexing) para ser posicionadas en base al algoritmo de Google (ranking) cuando se realice una búsqueda.
Por supuesto, cada vez que la araña visite nuestra web, comprobará si hay enlaces obsoletos o algún cambio, por mínimo que sea, para actualizarlo también en el índice de Google. Cuanto más actualices y agrandes tu sitio web, más páginas tendrás indexadas.
Pero ¡Ojo! Si tu página no es accesible mediante un enlace en el que se pueda hacer clic, lo más probable es que Google no pueda verla.
Para esto también es recomendable el sitemap y así tener todas las URLs de tu sitio web visibles para la araña.
¡Aún podemos contarte más! Puedes preguntarnos cualquier duda que tengas a nuestro email hola@baetica.com y estaremos encantados de hablar contigo ?
