Todas las páginas web bien diseñadas disponen de una guía que sirve a los buscadores para saber qué indexar, y qué no. Esta guía es un archivo de texto especial que se llama robots.txt, y que contiene las recomendaciones para los crawlers, esos ‘robots’ de los buscadores que intentarán, si no se lo impide nada, rastrear e identificar… Leer más »
