Taking too long? Close loading screen.
mm

8 טיפים להגדלת “תקציב סריקה” של המנוע חיפוש

אם יש לכם בעיה ב”תקציב הסריקה” באתר ואתם מעוניינים שגוגל יסרוק את כל האתר בתדירות ובמהירויות גבוהות יותר – ישנם לא מעט דברים שאפשר לעשות. רוב האנשים חושבים שמנוע החיפוש מחפש בכל האינטרנט ברגע שמקלידים בו שאילתה. רחוק מן האמת.

8 טיפים להגדלת "תקציב סריקה" של המנוע חיפוש

מנועי החיפוש סורקים את האינטרנט בזמנים מוגדרים, שאינם קשורים בהכרח לרגע הקלדת השאילתה בפועל. לאחר הסריקה הם מאחסנים את התוצאות בארכיון, ומתוך הארכיון הזה נשלפות ומאורגנות התוצאות באמצעות אלגוריתם ברגע שהגולש מבצע חיפוש.

כשמדובר בפרסום בגוגל, לא כל עמוד באתר שלכם ייסרק ברגע שגוגלבוט בסביבה. לעתים זה ייקח כמה שעות, כמה ימים או אפילו כמה שבועות, עד שגוגל יגיע לכל העמודים שלכם. אבל זה ממש לא אומר שאתם צריכים לשבת בחיבוק ידיים ולחכות למשיח. לכל אתר יש תקציב סריקה מוגבל, שקובע כמה עמודים ייסרקו בכל פעם – זה יכול להיות 10 עמודים ביום, 1,000 עמודים ביום או גם 50,000 ביום. תקציב הסריקה של כל אתר הוא שונה, ומושפע ממספר גדול של פרמטרים. על חלקם העיקרי נרחיב מייד. אגב, כדאי להבחין בין סריקה (או זחילה) ובין הוספה לאינדקס (אינדוקס): הראשון סורק את העמוד והשני מוסיף אותו לאינדקס/לארכיון.

איך תדעו אם יש לכם בעיה בתקציב הסריקה?

פשוט מאוד:

  • בדקו כמה עמודים בפועל יש באתר (ניתן לעשות זאת באמצעים חינמיים כגון xml-sitemaps.com או תוכנות סריקה כגון Screaming Frog ואחרות).
  • היכנסו ל-Search console של האתר, ותחת Crawl stats בדקו מהו המספר הממוצע של עמודים הנסרקים ביום.
  • חלקו את מספר העמודים בפועל במספר העמודים הנסרקים ביום.
  • אם קיבלתם מספר גבוה מ-10, משמע שיש פי 10 יותר עמודים באתר מאשר העמודים שגוגל סורק בפועל. אם קיבלתם מספר נמוך מ-3, לרוב אין שום בעיה (אלא אם כן בא לכם להקטין גם את זה למינימום).

יש לא מעט דברים שכדאי לעשות כדי לעודד ואפילו לאלץ את גוגל, לסרוק את כל האתר שלכם בתדירות ובמהירות גבוהות יותר. כך תעשו זאת.

גורם #1 – קישורים פנימיים

כאשר גוגל זוחל בתוך דף אינטרנט ומעבד את התוכן שלו, הוא מאתר גם קישורים שנמצאים בחלקים השונים בעמוד: תפריטי ניווט, פוטר, וידג’טים והחלק החשוב ביותר, כמובן: גוף התוכן המרכזי. ככל שהתוכן המרכזי מכיל יותר קישורים פנימיים לעמודים נוספים באתר, כך אתם מגדילים את הסיכוי שגוגל יוסיף אותם לרשימת ה”בדוק אותם בסריקה הבאה”. מומלץ מאוד לקשר לעמודים העיקריים שרוצים לקדם, עם טקסט עוגן רלוונטי ומגוון. חשוב להדגיש שאסור להגזים עם הקישורים הפנימיים. קשרו אל עמודים אחרים באתר בצורה הגיונית, בהתאם להקשרים הקיימים בתוכן הקיים בכל עמוד. אל תצרו מצב בו כל שורה שנייה כוללת קישור, כי בסופו של דבר זה מציק לגולשים וגם לגוגל.

גורם #2 – טיפול בעמודי שגיאה 404

כמעט לכל אתר יש עמודי 404, אצל מי יותר ואצל מי פחות. אומנם עמודי 404 לא פוגעים במיקומים בגוגל (זה כתוב במפורש בקטגוריית Crawl errors ב- Search console) – אבל כדאי לטפל בהם באופן שוטף, משתי סיבות עיקריות:

  • שיפור חוויית המשתמש – תמיד עדיף להוביל את הגולש לעמוד תקין, מאשר לעמוד לא תקין.
  • השפעה על תקציב הסריקה – ככל שיהיו לכם יותר עמודי 404 באתר, כך גוגל עלול “לבזבז” את כל תקציב הסריקה על עמודי שגיאה במקום לסרוק את העמודים הרגילים.

הדרך הכי אפקטיבית לגלות את עמודי ה-404 באתר, היא פשוט להשתמש בפאנל החיפוש של גוגל. תחת קטגוריית Crawl errors מרוכזים כל עמודי השגיאה במקום אחד. מומלץ להפנות כל עמוד שגיאה לעמוד רלוונטי קיים באתר. כך מצמצמים את כמות עמודי השגיאה, ומשאירים את כל תקציב הסריקה (או לפחות את רובו) לעמודים הנורמליים באתר.

גורם #3 – קנוניזציה וחסימה

יש אתרים שסובלים מעודף ומריבוי של עמודים, שאין שום סיבה שיהיו סרוקים בגוגל: עמודי כניסת משתמשים (Login) או הרשמה (Registration), מסנני מוצרים באתרי מסחר (לפי צבע, גודל, מחיר וכו’), טקסונומיות מסוגים שונים (בדרך כלל באתרי וורדפרס – תגיות, קטגוריות, גלריות, פורטפוליו וכו’) וכן הלאה.

בנוגע לעמודים שסתם יוצרים עומס על תקציב הזחילה – אפשר לסגור אותם לסריקה באמצעות קובץ Robots.txt (אם מדובר באתר וורדפרס, התוסף yoast מאפשר גישה ישירה לקובץ). יש לעשות זאת בזהירות, כי טיפול שגוי בקובץ רובוטס עלול להעיף את כל האתר מהאינדקס של גוגל. אם אינכם בטוחים, מומלץ להיעזר בחברת קידום אתרים אורגני.

בנוגע למסנני מוצרים באתרי מסחר, מומלץ לנקוט בגישה יותר מרוככת: במקום לחסום לגמרי את הווריאציות השונות, כדאי להציב תגיות rel=canonical בעמודים הרלוונטיים. תגיות קנוניקל מיידעות את מנועי החיפוש שהכתובת website.com/blabla צריכה להישאר כפי שהיא, גם אם בפועל מופעל עליה מסנן שמוסיף פרמטרים כגון website.com/blabla?filter=color

בשני המקרים מצמצמים את כמות העמודים המיותרים שנכנסים לאינדקס של מנועי החיפוש, “ומעבירים” את תקציב הסריקה לשאר העמודים.

גורם #4 – צמצום הפניות מיותרות

הפניות מיועדות להעביר את הגולש מעמוד לא רלוונטי או לא תקין, לעמוד רלוונטי ותקין (ראו סעיף 2). אבל לפעמים נוצרים מצבים בהם יש יותר מדי הפניות אחת אחרי השנייה, מה שנקרא “שרשרת הפניות”.

עקבו אחר ההפניות באתר ככל שניתן, וודאו שאין כפילויות ושרשרות מיותרות – אלא אם כן הן חייבות להיות שם. לדוגמה: כאשר מבצעים הפניות ברמת הדומיין מגרסה ללא www לגרסה עם www, או מגרסה לא מאובטחת (http) לגרסה מאובטחת (https).

גורם #5 – תוכן חדש בתדירות גבוהה

ככל שהאתר שלכם מתעדכן בתדירות גבוהה יותר וככל שהוא סמכותי יותר בתחומו, כך גוגלבוט יבוא לביקור בתדירות גבוהה יותר. יש אתרים, כגון ויקיפדיה, שלא מספיקים לעדכן אותם והם כבר נסרקים מיידית בגוגל.

גורם #6 – קישורים נכנסים

ככל שנוספים יותר קישורים נכנסים לאתר שלכם, ממקורות רלוונטיים שמתעדכנים תדיר אף הם, כך גדלים הסיכויים להגדלת תקציב הסריקה. זאת מכיוון שגוגל תמיד שומר קישורים בדפים שסרק, ומכניס אותם לרשימת “סרוק אחר כך”.

גורם #7 – מפת XML

בניגוד למפת אתר רגילה המיועדת לגולשים, מפת XML מיועדת למנועי החיפוש. מומלץ מאוד ליצור מפת אתר דינמית (שמתעדכנת עם כל שינוי), להעלות אותה לאתר ולשים את הנתיב הישיר שלה בקטגוריית Sitemaps בפאנל החיפוש של גוגל.

זה אומנם לא מבטיח סריקה של כל העמודים באתר, אבל זה בהחלט חושף בפני גוגל עמודים שלא היה מגיע אליהם אלמלא המפה. אם האתר שלכם ענק, ויש בו מאות אלפי ומיליוני עמודים, תצטרכו כנראה להכין כמה מפות XML נפרדות.

גורם #8 – סריקה ישירה בגוגל

מדובר ברכיב Fetch as google בפאנל החיפוש. הוא מיועד אך ורק לסריקה נקודתית של עמודים ספציפיים, אחד בכל פעם. אומנם זה לא מגדיל את תקציב הסריקה, אבל זה מאפשר לכם לחשוף מיידית עמודים חדשים, במקום להמתין עד שהוד מעלתו גוגל יואיל בטובו להגיע.

mm
נכתב ע”י:

הר האוורסט, ההר הגבוה בעולם, הוא אתגר אשר יחידי סגולה מעטים הצליחו לטפס עליו. הטיפוס על ההר הוא אתגר אנושי ורוחני אשר דורש הכנות, פיזיות ורוחניות. ובנוסף ליווי מקצועי ועבודה יסודית. שכן טעויות יכולות לגרום לאסונות. אנחנו בחברת אוורסט מבקשים לקחת אתכם לפסגה ביחד איתנו. ולהוביל אתכם יד ביד בדרך הבטוחה לפסגת ההצלחה בשיווק הדיגיטלי של המאה ה- 21.

Facebook Pagelike Widget
SignUp
עדכונים שוטפים יכולים לעזור ליצור חויית משתמש טובה יותר לגולשים שקוראים את התכנים שלכם

תגובות 0
+ הוסף תגובה
0