Arama motorları web sitelerini taramak için hangi teknolojiyi kullanır?

Arama motorları , sayfadan sayfaya, siteden siteye bağlantıları izleyerek web ‘de dolaşan otomatik yazılım uygulamalarını (robotlar, botlar veya örümcekler olarak adlandırılır) kullanır .