איך התפתח החיפוש בגוגל? ממפת קישורים לחיפוש מבוסס בינה מלאכותית - חלק -א

בתחילת שנות האלפיים האינטרנט צמח בקצב שלא נראתה כמותו. אתרים חדשים נוספו מדי יום, התוכן ברשת גדל במהירות, אבל לא תמיד נשמרה איכות. לצד מידע אמיתי ומועיל הופיעו גם דפים שטחיים, עמודים שנוצרו באופן אוטומטי, חוות קישורים ואתרי ספאם שהוסיפו רעש ופגעו ביכולת למצוא מקורות מהימנים.

גוגל זיהתה שהמודל הראשוני, שהתבסס בעיקר על ניתוח קישורים, כבר לא מספק מענה לעולם שהולך ונעשה מורכב יותר. היה צורך במנגנון שמסוגל להבחין בין תוכן שנוצר עבור המשתמש לבין תוכן שנועד להטעות את המערכת.

כאן התחיל מסע העדכונים ששינה את חוקי המשחק והגדיר מחדש מהי איכות ברשת.

במשך שנים לימדתי על עדכוני האלגורתמים וההשפעה על התוכן והדירוגים, אחד הנושאים שהכי אהבתי ללמד. אחרי כל עדכון, הרגשתי שגוגל מגלחת עשרות אתרים לא ראויים להופיע במיקומים הראשונים. 

בואו נתחיל:

• עדכון פנדה: Panda (2011)

עדכון שבחן את איכות התוכן עצמו. לא כמות מילים ולא צפיפות ביטויים, אלא עומק, מבנה, תרומה ממשית לקורא ורמת אמינות. אתרים שהתבססו על תוכן דל או מועתק איבדו נוכחות משמעותית בתוצאות.

• עדכון פינגווין Penguin (2012):

עדכון שהתמקד בטיב הקישורים. קישור נחשב הבעת אמון, אך רק כאשר הוא מגיע מהקשר אמיתי. האלגוריתם זיהה קישורים מלאכותיים, מערכות שבנויות על מניפולציות ודפוסי הפניה שאינם טבעיים, ונתן להם משקל נמוך או שלילי.

• עדכון המינגבירד, יונק הדבש – Hummingbird (2013)

שינוי ארכיטקטוני רחב. גוגל החלה לנתח שאילתות בצורה רחבה יותר, להבין את כוונת המשתמש ולא רק להתאים מילות מפתח. המשמעות היתה שתוכן שנכתב בצורה טבעית ובהירה זוהה כמתאים יותר, גם אם לא הכיל את הביטוי המדויק.

• ראנק בריין RankBrain (2015):

עדכון אלגוריתמי שנוסף לליבת החיפוש. להבדיל מהעדכונים הקודמים שהתבססו על חוקים ברורים, הראנק בריין בגוגל הוסיף שכבת למידת מכונה שמסוגלת לפרש שאילתות בצורה גמישה יותר. RankBrain נועד להתמודד עם שאלות מורכבות או נדירות, לזהות קשרים בין מילים ולהעריך משמעות גם כאשר הניסוח אינו מדויק. זו הייתה הפעם הראשונה שבה גוגל שילבה יכולת למידה סתגלנית בתוך תהליך הדירוג, מה שאפשר למערכת להבין כוונה באופן מדויק יותר ולא רק להתאים ביטויים.

בנקודה הזו החיפוש כבר לא פעל כמנגנון טקסטואלי בסיסי. הוא התחיל לזהות את משמעות השאלה ולא רק את המילים המרכיבות אותה. במקום להתמקד בדפים שחוזרים על ביטוי מסוים, גוגל חיפשה איזה דף אינטרנט מציג את הרעיון בצורה ברורה ומועילה, שלב משמעותי בדרך להבנת שפה טבעית, גם אם עדיין במסגרת טכנולוגית מצומצמת יחסית.