Os principais motores de busca, Google, Yahoo, Live e Ask já suportam o autodiscovery para sitemaps xml.

Um sitemap é, como o nome indica, um arquivo que lista todos os links de um site fórum ou blogue, segundo determinadas normas.  Como é óbvio, este processo pode ser automatizado para os blogues com o plugin Google SiteMap, e para os fóruns phpBB, com o Google-yahoo-msn sitemap and rss ( vide SEO para phpBB)

Para a detecção dos crwaler ser automática, basta colocar a seguinte linha no ficheiro robots.txt:

Sitemap: http://www.urldoseusite.com/sitemap.xml

Sitemap deste blogue:
http://blog.wilson.com.pt/sitemap.xml