Innehåll
Internetsökare som Google, Yahoo och Bing hittar information med länkar och webbplatskartor för andra webbplatser. Dessa sökmotorer kan hitta några av de mest dunkla uppgifterna och inkludera dem i ditt index och denna typ av sökteknik har fördelar och nackdelar för användarna.
Interna nätverkssidor
Interna nätverkssidor är sidor på webbplatser som kräver att många klick ses av användaren. Dessa sidor kan vara produkter, innehåll eller en sökdatabas som sökmotorer normalt inte kan spåra. Fördelen med denna typ av teknik, som hindrar sökmotorn att krypa, är att webbplatsägare kan ha produkter, inköp, information och andra viktiga länkar som ingår i ett sökmotorindex. Detta ger mer synlighet på internet till webbplatsägaren.
Personlig information
En nackdel med en sökmotor som crawls har personuppgifter som indexeras oberoende av sekretess. Information som säkerhetsnummer, finansiella data eller geografiska platser kan indexeras, även om det har publicerats på en personlig webbplats. Sökare gav användarna möjlighet att blockera viss indexinformation genom att använda en fil som heter "robots.txt". Sökmotorer som Google, till exempel, tillåter användare att ta bort webbadresser efter att webbplatsägaren har tagit bort offensiv information, som raderas från indexet.
automation
Webbplatsägare kan ha sina sidor indexerade genom att lämna några länkar på en annan webbplats eller till och med på sin egen webbplats. Denna praxis kallas "backlinking." En webbplats som använder denna funktion spåras automatiskt av sökmotorerna, som sedan kan kartlägga och indexera en webbplats. Detta underlättar situationen för webbplatsägare eftersom de inte behöver skicka in ett domännamn till sökmotorerna. Indexautomatisering gör det enklare för Internetläsare att söka.
