Las páginas de cada sitio son rastreadas regularmente por robots de búsqueda, que procesan la información en el sitio para que esté disponible a petición de los usuarios en los motores de búsqueda. Las visitas de los visitantes de los motores de búsqueda tienen un efecto positivo en el tráfico del sitio y estimulan el desarrollo del recurso. Pero, si hay páginas en el sitio, cuya información no está destinada a la audiencia de Internet (por ejemplo, las páginas personales de los usuarios o la página de registro), entonces la transición de los motores de búsqueda a dichas páginas no es necesaria y Es mejor prohibir la indexación de esta información.
Necesario
- - tener su propio sitio web
- - conocer los enlaces a las páginas cuya indexación debería estar prohibida.
- - tener al menos conocimientos básicos de HTML
Instrucciones
Paso 1
Para evitar que el robot de búsqueda indexe ciertas páginas del sitio, debe realizar cambios en el archivo robots.txt, si ya está en su sitio, o crear este archivo.
Paso 2
Si el archivo robots.txt ya está cargado en el sitio y es posible editar este archivo directamente desde el panel de control de recursos, abra robots.txt a través del servicio web para editarlo.
Paso 3
Si no hay forma de realizar cambios en el archivo deseado directamente desde el panel de control, abra robots.txt en un navegador haciendo clic en el enlace a este archivo. Copie todos los datos de la página que se abre y péguelos en la hoja en el Bloc de notas.
Paso 4
Si no hay un archivo robots.txt en el sitio, abra el programa "Bloc de notas", en el nuevo documento del cual deberá ingresar el código necesario.
Paso 5
En una hoja en blanco de un documento de texto, escriba la primera línea requerida:
Agente de usuario: *
Paso 6
Luego vaya a la siguiente línea presionando la tecla Enter y escriba el siguiente código:
Disallow: / index / page3Disallow: indica que no hay indexación, y / index / page3 es un enlace a una página que no necesita indexarse. En lugar del enlace / índice / página3, inserte un enlace a la página de su sitio que desea bloquear para su procesamiento por robots.
Paso 7
Tenga en cuenta que el nombre de dominio en sí mismo falta al principio del enlace; su presencia en la entrada implica la barra diagonal. Al rastrear un sitio, un robot de búsqueda inserta automáticamente un nombre de dominio en dichos enlaces. Por lo tanto, escriba enlaces a las páginas necesarias de esta manera.
Paso 8
Después de Disallow: puede colocar no solo un enlace a una página específica, sino también un enlace a cualquier sección o directorio del sitio. Del mismo modo, puede prohibir la indexación de la parte deseada del sitio.
Paso 9
Si es necesario prohibir el procesamiento por robots de varias secciones diferentes del recurso, escriba un enlace a cada sección o página en una nueva línea, al principio de la cual no olvide poner la entrada Disallow:.
Paso 10
Para completar el cambio de robots.txt, haga clic en el botón "Guardar" mientras edita el archivo en el panel de control, o guarde un documento de texto con entradas bajo el nombre robots.txt y cargue este archivo en el sitio.
