בוטים וסוכנים של בינה מלאכותית כבר מזמן מבקרים באתר שלכם. צ'ט ג'יפיטי, קלוד, פרפלקסיטי, ג'מיני וכל השאר סורקים דפים במיליוני אתרים, כדי לקבל תשובות למיליארדי השאלות שנשאלות מדי יום.
רוב הסיכויים שאין לכם מושג שזה קורה, וככל הנראה גם לא תוכלו לראות את הפעילות הזו. למה? בעיקר מכיוון שכלי אנליטיקס קונבנציונליים לא מציגים פעילות של בוטים או סוכני AI.
הפתרון מגיע בדמות סוג חדש של אנליטיקס, שעוקב גם אחרי פעילות של בוטים ואייג'נטים שמקורם בכלי בינה מלאכותית. בצורה כזו ניתן לראות אילו בוטים מבקרים באתר שלכם, כמה פעמים הם נכנסים, מה הם מבקשים ואילו סוגי פעולות הם מבצעים.
כל בוט או סוכן AI שמבקר באתר שלכם, למעשה מעיד שהאתר נבחר כמקור מידע לצורך הפקת תשובה לשאלה. בהקשר זה חשוב לציין שאין זה אומר בהכרח שהאתר בסוף אכן יופיע בתשובת ה-AI בצורת קישור, אזכור או המלצה.
מדוע בכלל דרוש אייג'נט אנליטיקס?
כמעט 4 שנים חלפו מאז היוולדו של צ'ט ג'יפיטי, ובינתיים הצטרפו לרשימה כלי AI נוספים. מכיוון שרובם ככולם לא מספקים נתונים אודות פעילות הבוטים שלהם, המידע הזה נשאר באפלה.
אנשי שיווק ובעלי עסקים שרוצים להבין איפה נמצא חלקם בתוך הפאזל הזה שנקרא חיפוש בבינה מלאכותית, צריכים מקור מידע אמין שיספק להם נתונים אודות פעילות האייג'נטים הללו.
מכאן נוצר הצורך בכלי מעקב שיעשה את העבודה, ובין היתר יענה על שאלות חשובות כגון "כמה פעמים העסק שלי הוזכר בתשובות הבינה המלאכותית", "מה צריך לעשות כדי לקבל חשיפה ב-AI" וכן "כמה הכנסות הגיעו מהאפיק החדש הזה".
יש לציין שנכון לעכשיו חיפוש בבינה מלאכותית הוא עדיין ערוץ שרובו ככולו מבוסס על חשיפות ופחות על כניסות והמרות. אתם עוקבים אחר אזכורי מותג, סנטימנט או ציטוטים / אזכורים, והמדדים האלה בהחלט חשובים – אבל הם לבדם לא עונים על השאלה העסקית.
כדי למדוד תועלת עסקית, צריך לראות את המסע כולו:
- מעקב אחר המותג: האם מנועי AI מזכירים ומצטטים אתכם?
- מעקב אחר תנועה: האם סוכני AI סורקים את האתר שלכם?
- מעקב אחר השפעה עסקית: האם אותם סוכנים ובוטים נרשמים, מבצעים המרה או קונים?
אנליטיקס של סוכני AI הוא הגשר בין השלב הראשון לכל מה שבא אחריו. זוהי אבן הדרך העיקרית והראשונה בדרכנו ממוצר של ניטור AI בלבד, למעקב GEO אמיתי מקצה לקצה: החל מאזכור מותג, סריקה וביקור וכלה בהכנסות.
מדוע אנליטיקס רגיל לא רואה סוכני בינה מלאכותית?
רוב כלי האנליטיקס (כולל GA4) מבוססים על ג'אווה סקריפט. שותלים באתר קוד קצר, והוא עוקב אחר משתמשים כשהם נמצאים באינטראקציה עם דפי האתר.
עם זאת יש כאן בעיה כפולה:
- סוכנים וזחלנים של AI לא מעבדים ג'אווה סקריפט. הם מבקשים את דפי האתר ישירות מהשרת, מה שאומר שקוד האנליטיקס לא רואה אותם.
- גם מעקב אנושי לא חף מדליפות. חוסמי פרסומות וקובצי עוגיות / קוקיז שנדחו על ידי המשתמש, פירושם שגם כלים מבוססי JS מפספסים נתח משמעותי של מבקרים אמיתיים.
התוצאה היא שהתנהגות סוכנים היא קופסה שחורה לחלוטין, והתנהגות משתמשים מתועדת רק חלקית. פלטפורמת אנליטיקס שקוראת את יומני השרת עוקפת את הבעיה הזו, ומספקת תיעוד אמין של התנהגות האייג'נטים באתר.
מה זה Agent Analytics?
אייג'נט אנליטיקס מציג כל סוכן בינה מלאכותית או זחלן (קרולר) שמבקר באתר, בזמן אמת, בהתבסס על נתוני השרת בפועל. לרוב זה אומר שניתן לצפות בנתונים כגון:
- סקירה כללית: סך כל ביקורי הסוכנים, דפים שביקרו בהם, מנועי חיפוש מובילים, מגמות לאורך זמן, וכתובות ה-URL הסרוקות ביותר שלכם עם פירוט לפי מנוע.
- דפים: רשימת כתובות URL שסוכנים ביקרו בה, עם ספירת ביקורים וחלוקת מנועים.
- סוכנים: כל בוט שזוהה באתר, תפקידו ומעשיו (סריקה, פעולה ועוד).
תמונה: AX Protocol
לא כל הבוטים זהים (וחשוב להבדיל ביניהם)
חשוב מאוד להבין שספירת ביקורים לבדה היא חסרת משמעות, אלא אם כן אתם יודעים על איזה סוג בוט אתם מסתכלים. אייג'נט אנליטיקס מסווג כל סוכן למספר קבוצות, בהתאם לסוג הפעולה שהוא מבצע:
- בוטים / זחלנים לאחזור מידע בזמן אמת: כאשר מישהו שואל שאלה, הבינה המלאכותית יכולה לשלוח סוכן שמאחזר את דף האינטרנט המתאים כדי לספק תשובה (לדוגמה: ChatGPT-User).
- בוטים / זחלנים לאימון: בוטים שאוספים טקסט לאימון מודלים עתידיים של AI. הגשת התיאור הקנוני שלכם קובעת איך המודלים יתארו אתכם בהמשך.
- סוכני פעולה: בוטים / זחלנים שנשלחו כדי לבצע פעולה באתר: לשלוח פנייה, לבצע הזמנה או רכישה אונליין ועוד.
- מנועי חיפוש: בוטים / זחלנים של מנועי חיפוש כגון גוגל, בינג, יאהו ועוד.
זו הסיבה שכדאי להשוות נתונים רק בתוך קטגוריה מסוימת, אבל לא באופן כללי. יש בוטים שמיועדים לחזור לאתר שוב ושוב פעמים רבות, בעוד שאחרים מיועדים לפעולה יותר נקודתיות שעשויות להתרחש רק אחת לתקופה מסוימת.
למשל, סוכן לאחזור מידע בזמן אמת יכול לחזור לאתר אלפי פעמים בשבוע – ובוט של מנוע חיפוש יכול לחזור רק 10 פעמים בחודש. זו התנהגות תקינה, כל עוד יודעים להבדיל בין הסוגים השונים.
מה ניתן לעשות עם אייג'נט אנליטיקס?
אילו זחלני AI מבקרים באתר שלכם
השאלה הבסיסית ביותר בנראות בבינה מלאכותית, היא זו שרוב הצוותים לא יכולים לענות עליה: האם האתר שלי נסרק בכלל על ידי AI? אייג'נט אנליטיקס מסוגל לספק רשימה עובדתית של בוטים, תדירות הופעה, חלקים באתר שנבדקו ועוד. בלי ניחושים, בלי הערכות של צד שלישי, רק מה שהשרת שלכם תיעד.
איתור בעיות סריקה
בוט שמפסיק פתאום לבקש את הדפים שלכם, או ממשיך להופיע עם שגיאות 404 בתוכן החשוב ביותר שלכם, הוא בעיית נראות בהתהוות; פשוט עדיין לא ראיתם את האפקט במורד הזרם. נתוני יומן מציגים קפיצות, ירידות ודפוסי שגיאה ברגע שהם מתרחשים, כך שתוכלו לתקן את הסיבה לפני שהיא תגיע למצב של פגיעה בנראות ה-AI שלכם.
האם בוטים מכבדים את קובץ רובוטס
הנחיות סריקה כתובות בקובץ robots.txt – אבל האם סורקי בינה מלאכותית מתייחסים או מתעלמים? הלוגים בשרת מציגים את האמת הבסיסית, ואייג'נט אנליטיקס מאפשר לכם לאמת את המידע לפי בוטים. במקביל אפשר גם לבדוק האם קובץ הרובוטס באתר באמת אומר את מה שאתם חושבים שהוא אומר.
ניווט ה-AI במבנה האתר
לא כל סריקה שווה לאחרת. דפוסי הבקשות לקבלת מידע מראים אילו עמודים או קבצים באתר הם המבוקשים ביותר על ידי בוטים של בינה מלאכותית, ובאילו הם בקושי נוגעים. זהו איתות ישיר לגבי האופן שבו ארכיטקטורת האתר נקראת על ידי מכונה.
העלאת נתונים קיימים
בחלק מפלטפורמות האייג'נט אנליטיקס ניתן להעלות קובצי נתונים קיימים, כדי ליצור קו בסיס ראשוני אפילו טרם תחילת התיעוד עצמו.
בדיקת שינויים בזמן אמת
עדכנתם את מפת האתר? תיקנתם שגיאות סריקה? התנהגות הבוטים ביומני השרת היא לולאת המשוב המהירה ביותר שיש לכם. תוך ימים ספורים תוכלו לראות האם סורקים קלטו את השינוי, במקום לחכות שנתוני הנראות יגיעו באמצעים אחרים.
השילוב האולטימטיבי בין אנליטיקס לביצועים
יומני שרת מספרים לכם מה בוטים ביקשו. מעקב אחר חיפושים בבינה מלאכותית מספר לכם מה מנועי ה-AI ציטטו. יחד, הם עונים על שאלות שאף אחד מהם לא יכול לענות עליהן לבד.
השילוב בין פעילות הבוטים והחיפושים עצמם מאפשר להפיק הרבה יותר תובנות. לדוגמה:
סריקה היא לא חשיפה: הרבה בוטים או הרבה סריקות עשויים להיראות כנתון טוב, אבל כפי שכבר צוין קודם לכן, זה לא מעיד בהכרח שה-AI יציג אתכם בתשובות. שילוב של כל הנתונים יחד הופך שני מדדים למשפך פעולה.
אבחון תוכן בעל ביצועים נמוכים: כאשר דף שנסרק בכבדות מופיע לעיתים רחוקות כמקור בתשובות ה-AI, עשויים להיות 3 הסברים שונים מאוד: בעיית גישה טכנית, בעיית איכות תוכן או פער בפרומפטים שאחריהם אתם עוקבים. לכל אחד מהם יש פתרון שונה לחלוטין. שילוב הנתונים יחד מאפשר להבחין ביניהם במקום לנחש.