אופטימיזציה לאתר לפי קונסולת החיפוש של גוגל

אופטימיזציה לאתר היא תהליך חיוני בדרך לקידום במנועי חיפוש. במדריך זה בחרתי להתייחס להנחיות האופטימיזציה המוצגות בקונסולת החיפוש של גוגל, אבל אין שום מניעה לשלב גם כלים נוספים בתהליך.

אחד השינויים המשמעותיים ביותר בקונסולת החיפוש של גוגל, התרחש בשנת 2018. מדריך למתחילים (וגם למתקדמים) שיסביר את כל סוגי ההערות והאזהרות בדוח Index Coverage – ומה עושים איתן.

עד שנת 2018, הקונסולה של גוגל הציגה עמודי שגיאה בסיסיים בלבד, והיה קל יחסית לזהות מה הבעיה ואיך לטפל בה. אבל מרגע השינוי, נכנס לשימוש דוח חדש שלא כולם תמיד מבינים איך לפרש ומה לעשות איתו.

הדוח מציג עשרות סוגים של שגיאות ואזהרות לבדיקה או לטיפול, וכדאי מאוד להיות בקיא בכולם (או לפחות ברובם המכריע).

דוח שגיאות ואזהרות בגוגל – חשוב לדעת

אל תצפו שכל עמודי האתר שלכם יהיו סרוקים בגוגל; בטח ובטח כשמדובר באתרים עם 10,000 עמודים ומעלה. בימינו יש עומס אדיר של תכנים המועלים לרשת (מיליוני עמודי אינטרנט חדשים כל יום), וגוגל מתחיל לסנן החוצה תכנים באיכות פחותה, תכנים משוכפלים וכן הלאה.

כמו כן אל תצפו לסריקה מהירה באופן טבעי של עמודים חדשים. אם תרצו אפשר להגיש עמודים לסריקה באמצעות כלי ה-URL בקונסולה או באמצעות מפת אתר XML.

לא כל הערה, שגיאה או אזהרה מעידים על בעיה. בהתאם לממצאים הקיימים לגבי כל דף באתר, גוגל מחליט האם הוא ראוי לזחילה, לאינדוקס ולהצגה בתוצאות החיפוש. פירוט נוסף בנושא הזה וכיצד לפעול יהיה בהמשך.

לא תמיד ההנחיות לתיקון ברורות או קיימות בכלל. השתדלתי להתבסס גם על עמוד ההנחיות של גוגל וגם על מאמרים אחרים, אבל לא תמיד יש הסבר מספק או אפשרות תיקון ברורה.

סוגי הערות, אזהרות, שגיאות ועוד

דוח הכיסוי (Coverage) החדש מציג 2 סוגים של מצבים – נמצא באינדקס ולא נמצא באינדקס.

נוספו לאינדקס / ירוק	עמודים תקינים ללא בעיות, שנמצאים באינדקס ובתוצאות החיפוש.
לא נוספו לאינדקס / אפור	העמוד לא נמצא באינדקס, אבל גוגל חושב שזה קורה מסיבה מוצדקת. לדוגמה, עמוד חסום לסריקה; עמוד שעושה הפניה לעמוד אחר וכן הלאה. מומלץ לבדוק, במיוחד אם כמות העמודים שלא מופיעים – גדולה מכמות העמודים התקינים.

בהתאם לגרף ששייך לכל סטטוס, ניתן לראות האם יש עלייה או ירידה במספר הדפים המיוחסים לסטטוס מסוים. קליק על הפירוט בטבלה מתחת לגרף, יאפשר לראות באילו עמודים מדובר ומה סוג הבעיה (בהתאם לסוגים שיפורטו בהמשך).

איך משתמשים בדוח הכיסוי לביצוע אופטימיזציה באתר

כפי שצוין קודם, חשוב לזכור שלא כל שגיאה או אזהרה מחייבת פעולה. לדוגמה – אם גיליתם שיש 200 עמודים שחסומים לסריקה, ייתכן שזה מכוון (למשל, פרופילים אישיים שלא אמורים להיות חשופים למנועי חיפוש).

ראשית צריך לבחון את כל ההערות הקיימות, בלי הסוג התקין (אין צורך). בדקו את כל האזהרות, השגיאות והעמודים שלא נכללים כדי להבין האם צריך לפעול בצורה כלשהי.

שנית – אפשר ורצוי להשתמש בכלי הבדיקה (URL Inspection Tool) כדי לבדוק את מצבם של עמודים ספציפיים. יש לזכור שהכלי הזה מאפשר גם לבצע שליחה מהירה לאינדוקס של עמוד אחד בכל פעם, והוא מוגבל בכמות השליחות בכל יום נתון.

כל שליחה של דף לבדיקה בכלי ה-URL מוציאה דוח מפורט אודות מצבו הנוכחי, האם הוא נמצא באינדקס וכן הלאה. בהמשך ניתן לבקש להוסיף אותו לאינדקס.

כדאי לשים לב לנושאים כגון:

עלייה חריגה בכמות השגיאות.
צניחה או עלייה חריגה במספר הדפים המאונדקסים.
יותר דפים שלא כלולים באינדקס מאשר דפים תקינים.
עלייה במספר שגיאות שרת (500) או עמודים שלא נמצאו (400). לדוגמה, עמודי 404 צריך לתקן בדרך כלל רק אם הם מופיעים בטאב השגיאות, ולא בטאב העמודים שלא נכללים.
דפים חסרים לחלוטין.

רוצה להתקדם?

פירוט מלא של סוגי השגיאות והאזהרות

הכלי מציג כ-30 סוגים שונים של סיבות לכך שעמוד מסוים מאונדקס או לא מאונדקס, מופיע או לא מופיע בתוצאות החיפוש וכן הלאה. זאת בניגוד לדוח הישן בגרסתו הקודמת, שהציג רק שגיאות בסיסיות (בעיקר מסוג 500 ו-400).

כדי לדעת אילו דפים מוגדרים בעייתיים והאם הם דורשים תיקון כלשהו, יש לבחון את הסיבות השונות בהתאם לטבלאות הבאות. כמו כן מומלץ לשלב גם את הכלי לבדיקת URL, כפי שצוין קודם לכן.

ייתכן שאותה הערה / שגיאה / אזהרה תופיע לגבי אותו דף בכמה סוגים שונים. לדוגמה, אם עשינו הפניה מדף א' לדף ב' – ההערה עשויה להופיע (לא בטוח) גם תחת "מפנה לכתובת אחרת" וגם תחת "נסרק אך לא נכלל באינדקס". אם נתקן את העמוד, האזהרות ייעלמו משני הסוגים בסריקה הבאה.

איך לתקן שגיאות (Errors) בדוח הכיסוי

אלו הם עמודים שלא נכללים באינדקס ודורשים בדיקה או טיפול:

שגיאה בחיבור לשרת (500)	השרת מחזיר שגיאה מסוג 500. יש לתקן מול חברת האחסון / ממשק ניהול האחסון.
שגיאה בהפניה לכתובת אחרת	שרשרת הפניות גדולה מדי; הפניה חוזרת לכתובת המקורית וכן הלאה. יש לתקן בהתאם לסוג הבעיה.
כתובת העמוד נחסמה על ידי robots.txt	הדף נשלח להוספה אבל נחסם על ידי קובץ רובוטס. יש לבדוק ספציפית כל עמוד שנחסם, ואם מדובר בטעות יש להסיר את החסימה מהקובץ.
כתובת העמוד סומנה ב-noindex	הדף נשלח להוספה אבל נחסם על ידי תגית noindex. יש לבדוק ספציפית כל עמוד שנחסם, ואם מדובר בטעות יש להסיר את התגית מהעמוד.
כתובת העמוד נראית כמו soft 404	הדף נשלח להוספה אבל השרת החזיר שגיאת soft 404 (העמוד מציג הודעת שגיאה "לא נמצא" אבל לא מחזיר קוד שרת נכון מסוג 404). הנחיות לתיקון >
כתובת העמוד מחזירה שגיאת 401	הדף נשלח אבל השרת החזיר שגיאת 401 – בקשה לא מורשית. אם זו טעות, יש להחזיר לעמוד את קוד השרת הנכון.
כתובת העמוד לא נמצאה (404)	כתובת עמוד שלא קיימת נשלחה להוספה לאינדקס. ניתן לבצע הפניות 300 לעמודים רלוונטיים, או להפוך את קוד השרת ל-410 כך שיעלם מהר יותר מהאינדקס.
כתובת העמוד מחזירה שגיאת 403	השרת דחה את הגישה של גוגלבוט לתוכן העמוד. אם זו טעות, צריך להעניק גישה לעמוד. הנחיות לתיקון >
כתובת העמוד נחסמה עקב בעיה אחרת	יש לתקן את השגיאה או להימנע משליחה נוספת לסריקה.

איך לתקן אזהרות (Warnings) בדוח הכיסוי

דפים אלו יכולים להיות או לא להיות באינדקס, אבל בכל מקרה יש להם בעיות שדורשות בדיקה או מענה כלשהו:

נוסף לאינדקס אבל נחסם על ידי robots.txt	הדף נוסף לאינדקס אבל התוכן שלו חסום על ידי קובץ רובוטס (הקובץ לא מונע הוספה לאינדקס, אלא רק זחילה בעמוד). אם העמוד צריך להיות חסום יש להוסיף תגית noindex; אם העמוד לא צריך להיות חסום, יש להסיר את ההגבלה בקובץ רובוטס.
הדף נוסף לאינדקס ללא תוכן	הדף התווסף לאינדקס אך גוגל לא מצליח לקרוא את התוכן שלו. לתיקון הבעיה יש לבדוק את הדף בכלי הבדיקה, ולפעול לפי הממצאים.

איך לתקן דפים שלא נכללים (Excluded) בדוח הכיסוי

אלו הם דפים שלא נוספו לאינדקס מסיבה מוצדקת (בעיניי גוגל). מומלץ מאוד לבדוק את הדוח הזה כדי לוודא שלא נכללים בו דפים חשובים לכם; ואם כן – לפעול בהתאם לממצאים.

הדף לא נוסף לאינדקס בגלל תג noindex	אם זו טעות, יש להסיר את התגית מראש העמוד.
נחסם על ידי הכלי להסרת דפים	מישהו שלח בקשה להסרת הדף מהאינדקס למשך 90 יום. יש לבדוק מה הסיבה להסרה (דף לא רלוונטי, תוכן מיושן, תוכן בלתי הולם) ולפעול בהתאם.
נחסם על ידי robots.txt	קובץ רובוטס מונע זחילה בדף, אבל לא מונע הוספה שלו לאינדקס. אם החסימה נעשתה בטעות יש להסיר את המגבלה מהקובץ.
הדף נחסם עקב שגיאת 401	הדף נחסם לסריקה על ידי שגיאת "בקשה לא מורשית". אם זו טעות, יש להסיר את המגבלה מהעמוד.
נסרק, אך לא נוסף לאינדקס בשלב זה	הדף נסרק אך לא נוסף לאינדקס. ייתכן שהדף יתווסף לאינדקס בעתיד וייתכן שלא. בגוגל ממליצים לא לנקוט בפעולה נוספת, אבל אם העמוד חשוב – מומלץ לעשות ככל שניתן כדי לסרוק אותו (שליחות חוזרות לסריקה, קישורים פנימיים, שדרוג התוכן, החלפת URL במקרי קיצון).
התגלה, אך לא נוסף לאינדקס בשלב זה	הדף נתגלה אך עדיין לא נסרק. גוגל רצה לסרוק את העמוד, אבל מכיוון שזה גורם לעומס יתר על האתר, גוגל החליט לבצע את הסריקה במועד אחר (וגם תאריך הסריקה האחרון ריק). אפשר לחכות עד שגוגל יסרוק שוב, או לנקוט בפעולות שצוינו בסעיף הקודם.
דף חלופי עם תג קנוני תקין	דף זה הוא עותק משוכפל של דף אחר, שגוגל מזהה כדף קנוני. לא נדרשת פעולה.
דף משוכפל, ללא דף קנוני שנבחר על-ידי המשתמש	לדף הזה יש עותקים משוכפלים, ואף אחד מהם לא מסומן כקנוני. גוגל חושב שדף זה אינו הדף הקנוני. יש לסמן מפורשות את ה-URL הקנוני של דף זה או לנקוט פעולה אחרת לפי הממצאים.
עותק משוכפל, גוגל בחר כתובת קנונית שונה מהמשתמש	דף זה מסומן ככתובת הקנונית של קבוצת דפים, אבל גוגל חושב שכתובת אחרת מתאימה יותר ככתובת הקנונית. כתובת זו היא שנוספה לאינדקס, ולא הדף המשוכפל. מומלץ לתייג אותה כדף הקנוני.
הכתובת שנשלחה לא נבחרה כקנונית	כתובת שנשלחה לסריקה לא נוספה לאינדקס, כי גוגל חושב שכתובת אחרת היא הקנונית. ההבדל לעומת הסעיף הקודם הוא שכאן הכתובת נשלחה לסריקה, ואילו בסעיף הקודם היא נתגלתה אוטומטית על ידי גוגל.
לא נמצא (404)	התקבלה שגיאת 404 בעת סריקת הדף ממקור חיצוני (לא ממפה ולא ע"י בקשת סריקה). שגיאות 404 מסוג זה לא מהוות בעיה (בניגוד לשגיאות המוצגות תחת Errors). ניתן לבצע הפניית 301 לדף רלוונטי.
דף עם הפניה לכתובת אחרת	הדף מפנה לכתובת אחרת ולכן לא נוסף לאינדקס. לא נדרשת פעולה.
Soft 404	הדף מחזיר הודעת "לא נמצא" אבל ללא קוד 404. יש לוודא שנשלח הקוד הנכון.
נחסם עקב גישה אסורה (403)	ברוב המצבים יש לחסום את העמוד עם תגית noindex או בקובץ robots.txt
נחסם עקב בעיה אחרת מסוג 400	שגיאה אחרת שלא מתוארת בהנחיות גוגל. יש לבדוק ספציפית כיצד והאם ניתן לפתור את הבעיה.

איך להתייחס לדפים תקינים (Valid) בדוח הכיסוי

אומנם דפים אלו לא דורשים התייחסות, אבל הם מוצגים בשתי צורות שכדאי לזכור:

נשלחו ונוספו לאינדקס – דפים שהוגשו לגוגל במתכוון ונוספו בהצלחה לאינדקס.
נוספו לאינדקס אך לא נשלחו במפת אתר – הדפים התגלו ונוספו על ידי מקור אחר ולא על ידי sitemap. רצוי שכל הדפים החשובים יוצגו גם במפת ה-xml בקונסולה.

רגע לפני סיום

כפי שצוין כבר בהתחלה, אופטימיזציה לאתרים היא תהליך מתמשך. אפשר ורצוי להיעזר במגוון רחב של כלים נוספים חוץ מאלו המוצגים במאמר הזה. כמו כן אין שום תחליף לעין מקצועית שיודעת מה לבדוק והיכן, במקום לסמוך אך ורק על כלים אוטומטיים.

בהצלחה!