La indexación es el proceso de escanear archivos ubicados en un recurso de Internet por un robot de búsqueda. Este procedimiento se lleva a cabo para que el sitio esté disponible en los resultados de búsqueda para diversas consultas en el motor de búsqueda. Entre los motores de búsqueda más grandes de la actualidad se encuentra Yandex, que realiza este análisis a su manera.
Instrucciones
Paso 1
La indexación del sitio de Internet se lleva a cabo mediante programas automáticos especiales: robots de búsqueda, que rastrean automáticamente la aparición de nuevos sitios en la World Wide Web, escaneando constantemente las páginas de Internet ubicadas en Internet, los archivos y enlaces a ellos en cada recurso.
Paso 2
Para escanear, el robot va al directorio donde se encuentra el recurso en un servidor en particular. Al elegir un nuevo sitio, el robot se guía por su disponibilidad. Por ejemplo, existe la opinión de que Yandex primero escanea los sitios creados en un dominio de idioma ruso y en ruso: ru, rf, su o ua, y solo luego se traslada a otras regiones.
Paso 3
El robot navega al sitio y escanea su estructura, primero buscando archivos que indiquen una búsqueda adicional. Por ejemplo, un sitio se analiza en busca de Sitemap.xml o robots.txt. Estos archivos se pueden utilizar para establecer el comportamiento del robot de búsqueda al escanear. Usando el mapa del sitio (sitemap.xml), el robot obtiene una idea más precisa de la estructura del recurso. El webmaster utiliza robots.txt para definir archivos que no le gustaría que se mostraran en los resultados de búsqueda. Por ejemplo, podría ser información personal u otros datos no deseados.
Paso 4
Después de escanear estos dos documentos y recibir las instrucciones necesarias, el robot comienza a analizar el código HTML y procesar las etiquetas recibidas. De forma predeterminada, en ausencia de un archivo robots.txt, el motor de búsqueda comienza a procesar todos los documentos almacenados en el servidor.
Paso 5
Al hacer clic en los enlaces de los documentos, el robot también recibe información sobre otros sitios que están en cola para escanear siguiendo este recurso. Los archivos escaneados en el sitio se guardan como una copia de texto y una estructura en los servidores de los centros de datos de Yandex.
Paso 6
Los robots también determinan automáticamente la necesidad de volver a escanear. El programa compara el resultado del análisis existente con la versión actualizada del sitio cuando vuelve a realizar la indexación. Si los datos recibidos por el programa difieren, la copia del sitio también se actualiza en el servidor Yandex.
