Para impedir que los contenidos del feed de nuestro blog aparezca dentro de los resultados del buscador web de Google y evitar por ejemplo una hipotética penalización por contenido duplicado, la mejor manera es utilizar un fichero 'robots.txt' que impida que Googlebot lo rastree.
User-agent: Googlebot
Disallow: /nombre_del_feed
Así lo recomienda Vanessa Fox (una de las portavoces de Google en asuntos relacionados con el buscador web) en los comentarios de este post oficial. Hay que recordar que, como mencionábamos en septiembre de 2005, el robot que rastrea los feeds para 'Google Reader' no obedece las directivas de 'robots.txt'.
Para generar el fichero 'robots.txt', y en caso de que tengamos varios feeds con diversos contenidos de nuestro blog, siempre es recomendable utilizar los comodines que soporta Googlebot.
En el citado post oficial también se recomienda utilizar la etiqueta 'link' en las cabeceras de las páginas web. Con ello nos aseguraremos, además de que muchos navegadores web lo detecten y avisen a los lectores de su existencia, de que Google lo incluya en algunos de sus productos ('Google Reader' y la página de inicio personalizada).
