Kaj je pajek? orodje pajek "Yandex" in Google

Vsak dan na internetu je ogromno novih materialov za ustvarjanje spletne strani posodobljene stare spletne strani, fotografije in video posnetke. Brez skrita iz iskalnikov ni bilo mogoče najti v svetovnem spletu, nobena od teh dokumentov. Alternative, kot robotskih programov v danem trenutku ne obstaja. Kaj je iskanje robot, zakaj jo in morali, kako deluje?

Kaj je iskanje robot

Spletna stran gosenicah (iskalnik) - to je avtomatski program, ki je sposoben, da obiščete milijone spletnih strani, hitro navigacijo preko spleta brez posredovanja operaterja. Roboti so nenehno skeniranje prostor na svetovnem spletu, iskanje novih spletnih strani in redno obiskujejo že indeksirane. Druga imena za spletni iskalniki pajki, pajki, nezaželeno.

Zakaj so iskalni pajki

Glavne naloge, ki opravljajo iskanja pajki - spletne strani indeksirane, kot tudi besedilo, slike, avdio in video datoteke, ki so na njih. Boti preveriti reference, ogledalo mesta (kopije) in posodobitve. Roboti tudi izvajanje nadzora HTML-kodo za standarde skladnosti Svetovna organizacija, ki razvija in izvaja tehnoloških standardov za World Wide Web.

Kaj je indeksiranje, in zakaj je to potrebno

Indeksiranje - je, v resnici, je proces, ko obiščete določeno spletno stran z iskalniki. Program pregleda besedilo na tej strani, slike, video posnetke, izhodnih povezav, nato pa stran pojavi v rezultatih iskanja. V nekaterih primerih, na mestu ni mogoče skenirane samodejno, potem se lahko doda iskalnik ročno webmaster. Značilno je, da se to zgodi v odsotnosti zunanjih povezav do določenega (pogosto šele pred kratkim ustvarili) stran.

Kako iskalnik pajki

Vsak iskalnik ima svoj bot z Google iskalni robot lahko bistveno razlikujejo glede na mehanizem deluje na podobnem programu, "Yandex" ali druge sisteme.

Na splošno je princip delovanja robota je, kot sledi: program "pride" na mestu in zunanje povezave iz glavne strani, "se glasi" Web vir (vključno s tistimi, ki iščejo nad glavo, da ne vidi uporabnika). Čoln je, kako krmariti med stranmi v mestu in se premaknili na druge.

Program bo izbrati, katera stran v indeks? Bolj pogosto kot ne "potovanje" pajek začne z novicami ali večjih imenikov virov in povezovalcev z velikim referenčno težo. Gosenica nenehno skandiranje strani enega po enega, na stopnjo in doslednosti indeksiranje naslednje dejavnike:

• Notranji: perelinovka (notranje povezave med stranmi istega vira), velikost mesta, pravilno kodo, uporabniku prijazen in tako naprej;
• Zunanji: skupna referenčna masa, ki vodi do mesta.

Prva stvar, iskanje robot iskanja na katero koli spletno stran, ki ga robots.txt. indeksiranje Dodatne virov se izvaja na podlagi prejete informacije, da je iz tega dokumenta. Ta datoteka vsebuje posebna navodila za "pajki", ki lahko povečajo možnosti obiskov strani z iskalniki, in zato, da bi dosegli čim prej stran hit v "Yandex" ali Google.

Program analoge pajki

Pogosto se izraz "iskanje robot" zamenjati z inteligentno, uporabnika ali avtonomnih agentov, "mravlje" ali "črvi". Potopljeni pomembne razlike le v primerjavi s sredstvi, druge opredelitve se nanašajo na podobne vrste robotov.

Na primer, lahko sredstva so:

• intelektualne: program, ki se iz mesta do mesta, samostojno odloča, kako naprej; niso zelo pogosti na internetu;
• Avtonomna: Ti agenti pomagajo uporabniku pri izbiri izdelkov, iskanje, ali izpolnjevanje obrazcev, ti filtri, ki so malo povezana z omrežnimi programov;.
• uporabnik: program prispeva k interakcijo uporabnika z World Wide Web, brskalnik (na primer, Opera, IE, Google Chrome, Firefox), sli (Viber, telegram) ali e-poštnih programov (MS Outlook in Qualcomm).

"mravlje" in "črvi" so bolj podoben "pajki" iskalnikov. Prva oblika med omrežjem in dosledno interakcijo, kot je ta kolonija, "črvi" je sposoben posnemati tudi v drugih pogledih enako kot standardni pajka.

Raznolikost roboti iskalnikov

Razlikovati je treba med več vrst pajkov. Glede na namen programa, so:

• "Mirror" - Dvojniki brskajo po spletnih mestih.
• Mobile - poudarek na mobilnih različic spletnih straneh.
• Hitro - hitro popraviti nove informacije z ogledom najnovejše posodobitve.
• Reference - referenčni indeks, računajo svoje številke.
• Indeksiranje različne vrste vsebin - posebni programi za besedilo, avdio, video, slike.
• "Spyware" - išče strani, ki še niso prikazani v iskalniku.
• "Žolna" - občasno obiščejo strani, da bi preverili njihovo ustreznost in učinkovitost.
• National - brskanje po spletnih virov, ki se nahajajo na enem od področij posameznih držav (npr Mobi ali .kz .ua).
• Global - indeks vsi nacionalni strani so.

Roboti večjih iskalnikov

Obstaja tudi nekaj iskalnik pajki. V teoriji, lahko njihovo funkcionalnost zelo razlikujejo, vendar v praksi so programi skoraj identični. Glavne razlike indeksiranja spletnih strani Roboti dveh večjih iskalnikov, so naslednji:

• Strogost testiranja. Domneva se, da je mehanizem pajka "Yandex" nekoliko strožje ocene območja za skladnost s standardi svetovnega spleta.
• Ohranitev celovitosti območja. indeksi bagri Google celotno stran (vključno medijskih vsebin), "Yandex" lahko ogledate tudi vsebino selektivno.
• hitrost test nove strani. Google dodaja nov vir v rezultatih iskanja v nekaj dneh, v primeru ", ki ga Yandex" proces lahko traja dva tedna ali več.
• Pogostost ponovnega indeksiranje. Gosenicah "Yandex" preveri za posodobitve dvakrat na teden, in Google - eden na vsakih 14 dni.

Internet, seveda, ni omejena na dva iskalnikih. Drugi iskalniki imajo roboti, ki sledijo svoje parametrov indeksiranja. Poleg tega obstaja več "pajki", ki so namenjeni ni večjih iskanja virov, in posamezne ekipe ali skrbnikov.

skupnih napačnih

V nasprotju s splošnim prepričanjem, "pajki" ne obdelujejo podatke. Program samo skenira in shrani spletne strani in nadaljnja obdelava traja povsem različnih robotov.

Prav tako mnogi uporabniki menijo, da ima iskalnik pajki negativen vpliv in "škodljive" Internet. V bistvu, lahko nekatere različice "pajkov" bistveno preobremenitve strežnika. Na voljo je tudi človeški dejavnik - skrbnik, ki je ustvaril program, lahko delajo napake v konfiguraciji robota. Vendar je večina obstoječih programov dobro načrtovana in strokovno vodenih, in vseh nastajajočih težav takoj odstranijo.

Kako upravljati indeksiranje

Iskalnik roboti so avtomatizirani programi, vendar je proces indeksiranje lahko delno pod nadzorom webmaster. To zelo pomaga zunanjo in notranjo optimizacijo vira. Poleg tega lahko ročno dodate novo spletno stran za iskalnik: velika sredstva imajo posebno obliko registracije spletnih straneh.