Ahora, cree el archivo 'robots.txt' en su directorio raÃz. Copia el texto anterior y pégalo en el archivo de texto.
Use SeoLand's Robots.txt Generator and Generate a robots.txt file for free. Let the search engine crawlers know how to index your website.