Spider

En spindel är ett program som reser på nätet (därav namnet "spindel"), lokaliserar och indexerar webbplatser för sökmotorer. Alla större sökmotorer, som Google och Yahoo!, Använder spindlar för att bygga och uppdatera sina index. Dessa program surfar ständigt på nätet och reser från ett hyperlänk till en annan.

Till exempel, när en spindel besöker en webbplats hemsida, kan det finnas 30 länkar på sidan. Spindeln följer var och en av länkarna och lägger till alla sidor som den hittar i sökmotorns index. Naturligtvis kan de nya sidorna som spindeln hittar också ha länkar, som spindeln fortsätter att följa. Vissa av dessa länkar kan peka på sidor på samma webbplats (interna länkar), medan andra kan leda till olika webbplatser (externa länkar). De externa länkarna kommer att få spindeln att hoppa till nya webbplatser och indexera ännu fler sidor.

På grund av den sammanflätade karaktären hos webbplatslänkar återvänder spindlar ofta till webbplatser som redan har indexerats. Detta gör det möjligt för sökmotorer att hålla reda på hur många externa sidor som länkar till varje sida. Ju fler inkommande länkar en sida har, desto högre kommer den att rankas i sökmotorresultaten. Spindlar hittar inte bara nya sidor och håller reda på länkar, de spårar också ändringar på varje sida, vilket hjälper sökmotorindex att hålla sig uppdaterad.

Spindlar kallas också robotar och sökrobotar, vilket kan vara att föredra för dem som inte gillar arachnids. Ordet "spindel" kan också användas som verb, till exempel "Den sökmotorn spindlade äntligen min webbplats förra veckan."