מהו ההבדל בין מנועי החיפוש לאינדקסים ? מנועי חיפוש מפעילים תוכנות, הנקראות רובוטים או עכבישים, לצורך הוספת אתרים לבסיס הנתונים שלהם. אותם עכבישים זוחלים ברשת בחיפוש אחר דפים חדשים ועדכונים לדפים המצויים במאגר כאשר לצורך כך יעברו מכתובת URL אחת לשנייה עד שלא ימצאו יותר כתובות. בכל דף בו הם מבקרים יקליטו העכבישים את כל הטקסט המופיע בעמוד – משמש לתוצאות שליפה בעתיד ובדיקת השינויים בדף. לאחר שגמרו לזחול באתר שלכם יעקבו אחר קישורים היוצאים ממנו לאתרים נוספים וימשיכו לחפש גם אתרים חדשים.

כאשר העכביש ביקר באתר מסוים הוא יחזור לבדוק שינויים ועדכונים שבוצעו בו אחת למספר ימים. יאהו ו- MSN חוזרים בתדירות גבוהה של פעם ביום (לפעמים יותר) ואילו גוגל חוזר אחת לארבעה ימים בערך.

לעומת המנועים הזוחלים קיימים אינדקסים. בהם בדיקת האתרים נעשית ע"י עורכים אנושיים המחליטים אם תופיעו והיכן (באיזו קטגוריה) לפי שיקולם. דוגמאות לאינדקסים הם nana, Ynet וגם וואלה למרות שהיום הוא משלב גם יכולות של מנוע חיפוש.

פרסומות רבות מדברות על רישום לאלפי מנועי חיפוש ואינדקסים. בפועל אין אלפי מנועי חיפוש וברוב המקרים מדובר במנועי חיפוש קטנים יותר אבל לפעמים הכוונה היא למנועים מקומיים שאינם רלוונטיים אליכם (אינדקס משוררי פולין ?) או לחוות קישורים המנפקות כמויות אדירות של דואר זבל ואינן מוסיפות לדירוג שלכם.
3 המנועים הגדולים גוגל, יאהו ו- MSN אחראים ל- 95% מהחיפושים ברשת ומספקים גם תוצאות עבור פורטלים גדולים, לדוגמא AOL מקבל תוצאות ממנוע החיפוש גוגל.