Ya has visto como editar el arichivo robots.txt para excluir una carpeta completo del archivo (rl foro en nuestro ejemplo).
Puedes necesitar excluir de la indexación una URL concreta. En ese caso, escribe Disallow: el camino de la página desde la raíz de la web, es decir, todo lo que se encuentra detrás de la extensión (.com, .fr, .emiweb.es, etc). Por ejemplo, para la dirección http://www.ejemplo.emiweb.es/paginas/categoria/pagina1.html, tendríamos que incluir /paginas/categoria/pagina1.html

De la misma manera, si necesitas excluir varias URLs de la indexación, puedes añadir tantas líneas Disallow como necesites.
