El archivo robots.txt es un elemento fundamental para toda página web que pretende estar bien indexada por los motores de búsqueda como Bing. Opera como el directorio para los bots, indicándoles https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html