העכבישים של מנועי החיפוש
השאיפה של העכביש היא להיות אנושי.
לעכבישים 2 מטרות: למצוא אתרים חדשים ולתת להם ציון לפי הרלוונטיות שלהם למילות החיפוש.
מציאת האתרים היא משימה פשוטה יחסית העכביש זוחל ברשת, עוקב אחרי לינקים ומאנדקס אותם.
המשימה הקשה היא מתן הציון לכל אתר באופן כזה שכאשר תקליד מילת חיפוש כלשהי תתקבל התוצאה הכי רלוונטית לחיפוש שלך בראש התוצאות.
העכבישים מנסים "לחשוב" כמו הגולש - מה מעניין אותו בחיפוש מסוים - ומצד שני משחקים בחתול ועכבר עם מנהלי/ מקדמי אתרים המנסים לתמרן אותם לתת לאתר שלהם דירוג גבוה.
העכביש בודק אם מילת חיפוש/ ביטוי הוא רלוונטי לאתר או אם הוא נראה "יותר מידי" רלוונטי לאתר מסוים. כאשר מנוע חיפוש עולה על טקטיקה חדשה לקידום אתרים הוא בונה טקטיקת נגד, וכך ממשיך המשחק כל הזמן.
ניתן לומר שהיום אין יותר דירוג טבעי (ללא ביצוע אופטימיזציה) של אתרים וכל אתר נבחן בזהירות רבה. רוב העכבישים מתוכננים לבחון את האתר שלך מנקודת ראותו של הגולש המחפש אינפורמציה.
אם נחשוב מה הופך אתר לאתר טוב, מלבד ערכו האומנותי. סביר להניח שתבחרו באתרים עמוסי תוכן בתחום המעניין אתכם, עם דפים בעלי מראה נעים ומסודר (נוח לקריאה) - אם תעשו את זה באתר שלכם תשיגו יותר תנועה מאחרים.