Què és un rastrejador? eina rastrejador "Yandex" i Google

Cada dia a Internet hi ha una gran quantitat de nous materials per crear un lloc web actualitzat les pàgines web d'edat, pujar fotos i vídeos. Sense ocult als motors de cerca no es pot conèixer a la World Wide Web, cap d'aquests documents. no existeixen alternatives com els programes robòtics en un moment donat. Què és un robot de recerca, per què ho necessita i com operar?

Què és un robot de recerca

El lloc d'eruga (motor de cerca) - és un programa automàtic que és capaç de visitar els milions de pàgines web, navegar ràpidament a través d'Internet sense necessitat d'intervenció de l'operador. Els bots són constantment l'espai d'exploració de la World Wide Web, la recerca de noves pàgines web i regularment ia visitar indexat. Altres noms per als rastrejadors web aranyes, rastrejadors, els robots.

Per què les aranyes dels cercadors

Les principals funcions que realitzen els motors de cerca - pàgines web indexades, així com text, imatges, àudio i arxius de vídeo que estan en ells. Robots de verificar les referències, llocs mirall (còpies) i actualitzacions. Els robots també realitzen el control de codi HTML per als estàndards de conformitat de l'Organització Mundial, que desenvolupa i implementa els estàndards tecnològics per a la World Wide Web.

Què és la indexació, i per què és necessari

Indexació - és, de fet, és el procés de visitar una pàgina web en particular pels motors de cerca. El programa escaneja el text en aquesta pàgina, imatges, vídeos, enllaços sortints, la pàgina apareix en els resultats de cerca. En alguns casos, el lloc no es pot escanejar de forma automàtica, a continuació, es pot afegir al motor de cerca de forma manual webmaster. Típicament, això es produeix en absència d'enllaços externs a una pàgina en particular (sovint creat només recentment).

Com funcionen els motors de cerca

Cada motor de cerca té el seu propi robot amb el robot de cerca de Google poden variar significativament segons el mecanisme que funciona en un programa similar, "Yandex" o altres sistemes.

En general, un principi de funcionament del robot és el següent: el programa "ve" en el lloc i els enllaços externs a la pàgina principal, "llegeix" recurs web (incloent aquells que busquen sobrecàrrega que no veu l'usuari). Vaixell es descriu com desplaçar-se entre les pàgines d'un lloc i passar a altres.

El programa escollirà quin lloc per indexar? Més sovint que no "viatge" a l'aranya comença amb els principals llocs de notícies o agregadors de directoris de recursos i amb gran pes de referència. Erugues explora contínuament les pàgines una a una, sobre la velocitat i consistència de la indexació dels següents factors:

• Interns: perelinovka (enllaços interns entre les pàgines d'un mateix recurs), la mida del lloc, el codi correcte, fàcil d'usar i així successivament;
• Externa: el pes total de referència, el que condueix al lloc.

El primer que les recerques de recerca robot a qualsevol lloc web per robots.txt. A més la indexació de recursos es realitza en base a la informació rebuda és a partir d'aquest document. Aquest fitxer conté instruccions específiques per a les "aranyes" que poden augmentar les possibilitats de visites a la pàgina pels motors de recerca, i, en conseqüència, per aconseguir un lloc d'èxit d'hora al "Yandex" o Google.

Programa d'anàlegs de rastrejadors

Sovint el terme "robot de cerca" es confon amb l'intel·ligent, l'usuari o agents autònoms, "formigues" o "cucs". Immers diferències significatives només en comparació amb els agents, altres definicions es refereixen a tipus similars de robots.

Per exemple, els agents poden ser:

• intel·lectual: el programa, que es mouen d'un lloc a un altre, independentment de decidir com procedir; que no són molt comuns a Internet;
• Autònoma: Aquests agents ajuden a l'usuari a seleccionar un producte, cercar o emplenament de formularis, els anomenats filtres, que són poc relacionat amb programes de la xarxa ;.
• usuari: el programa contribueix a la interacció de l'usuari amb la World Wide Web, un navegador (per exemple, Opera, Internet Explorer, Google Chrome, Firefox), missatgers (Viber, telegrama) o programes de correu electrònic (MS Outlook i Qualcomm).

"Formigues" i "cucs" són més similars als motors de cerca "aranyes". La primera forma entre una xarxa i consistentment interactuar com aquesta colònia de formigues, "cucs" és capaç de replicar en altres aspectes el mateix que el rastrejador estàndard.

Varietat de robots dels cercadors

Distingir entre molts tipus de rastrejadors. Segons el propòsit del programa, que són:

• "Mirall" - Duplicats estan navegant llocs web.
• Mobile - se centren en les versions mòbils de les pàgines web.
• Ràpida - fixar nova informació de forma ràpida mitjançant la visualització de les últimes actualitzacions.
• Referència - índex de referència, el recompte dels seus números.
• Indexadors diferents tipus de contingut - programes concrets de text, àudio, vídeo, imatges.
• "Spyware" - a la recerca de pàgines que encara no es mostren en el motor de cerca.
• "Fuster" - visitar periòdicament els llocs per comprovar la seva pertinència i eficiència.
• Nacional - navegar pels recursos web ubicat en un dels dominis de país (per exemple, .mobi, o .kz .ua).
• Global - índex de tots els llocs nacionals.

Robots principals motors de cerca

També hi ha alguns motors de cerca. En teoria, la seva funcionalitat pot variar àmpliament, però en la pràctica els programes són gairebé idèntics. Les principals diferències d'indexació de pàgines web Robots dos principals motors de cerca són els següents:

• La rigorositat de les proves. Es creu que el mecanisme d'eruga "Yandex" estimacions una miqueta més estrictes el lloc per al compliment de les normes de la World Wide Web.
• La preservació de la integritat del lloc. Els índexs rastrejador de Google a tot el lloc (incloent el contingut dels mitjans de comunicació), "Yandex" poden també veure el contingut de manera selectiva.
• prova de velocitat noves pàgines. Google afegeix nou recurs en els resultats de cerca d'aquí a uns pocs dies, en el cas del procés "per Yandex" pot prendre dues setmanes o més.
• La freqüència de re-indexació. Erugues "Yandex" buscar actualitzacions dues vegades per setmana, i Google - un cada 14 dies.

Internet, per descomptat, no es limita als dos motors de cerca. Altres motors de cerca tenen seus robots que segueixen els seus propis paràmetres d'indexació. A més, hi ha diversos "aranyes" que estan dissenyats no principals recursos de recerca, i els equips individuals o administradors web.

conceptes erronis comuns

Contràriament a la creença popular, "aranyes" no processen la informació. El programa només analitza i emmagatzema les pàgines web i el seu posterior processament presa completament diferents robots.

A més, molts usuaris creuen que els motors de cerca tenen un impacte negatiu i Internet "perjudicial". De fet, algunes versions de "aranyes" poden sobrecarregar el servidor de manera significativa. També hi ha un factor humà - el webmaster, que va crear el programa, poden cometre errors en la configuració del robot. No obstant això, la major part dels programes existents estan ben dissenyades i gestionades de forma professional, i qualsevol problema emergents retiren ràpidament.

Com gestionar la indexació

robots de motors de cerca són els programes automatitzats, però el procés d'indexació poden ser controlats en part per la webmaster. Això ajuda en gran mesura externa i optimització interna del recurs. A més, es pot afegir manualment un nou lloc a un motor de cerca: grans recursos tenen una forma especial de registre de les pàgines web.