האם קובץ robots.txt חשוב לקידום האתר?

אתר האינטרנט יכול להכיל כמויות עצומות של עמודים, קבצים, מדיה וספריות. העניין הוא שלא תמיד אנו רוצים שגוגל יסרוק את כל הדברים הללו, במיוחד כשלגוגל יש תקציב סריקה מוגבל. כלומר גוגל לא תמיד יסרוק את כל העמודים באתר ביום אחד, זה יכול לקחת שעות, ימים או שבועות עד שהוא יסרוק את כל האתר. זה גם מאד תלוי במספר פרמטרים כגון טריות האתר – כל כמה זמן האתר מעלה תוכן חדש וכמה כניסות יש לאתר, אם מדובר באתר חזק שיש לו אלפי כניסות, יש סיכוי גבוה שיסרק בתדירות גבוהה. עם זאת, יש לעזור לגוגל להגיע לעמודים העיקריים והחשובים של האתר ולשם כך נועד קובץ robots.txt. מדובר בקובץ שמאותת לגוגל אילו עמודים לסרוק ולאנדקס ואילו עמודים לא לסרוק ולא לאנדקס. דוגמא לעמודים שלא נרצה שגוגל תסרוק הם עמודים שרק משתמשים מורשים יכולים להיכנס אליהם עם שם משתמש וסיסמא.

איך מייצרים קובץ robots.txt?  

מתי שהסורקים מגיעים לאתר על מנת לסרוק אותו, הדבר הראשון שהם מחפשים הוא את הקובץ: www.example.co.il/robots.txt שנמצא בתיקייה הראשית של האתר. לשם יצירת הקובץ יש להשתמש ב-notepad או ב notepad++. הקובץ בדרך כלל יוצג כך:

התפקיד של ה- User-agent הוא לפנות לרובוטים של מנועי החיפוש, כוכבית (*) פונה לכל הרובוטים של כל מנועי החיפוש. אם נרצה לפנות לרובוט של מנוע חיפוש ספציפי למשל Googlebot אז נוכל להוסיף לקובץ את שורות הקוד הבאים:

בעזרת הקוד אמרתי לסורקים של גוגל שלא לסרוק ולא לאנדקס את הקבצים של האתר, אך שאר מנועי החיפוש כן יכולים לסרוק את הקבצים, אלא אם הגדרתי אחרת בקובץ.

כפי שהבנתם, התפקיד של Disallow הוא לאותת לרובוטים שלא לסרוק את העמודים או את הקבצים שהגדרנו ואילו התפקיד של Allow הוא לאותת לרובוטים שניתן לסרוק את העמודים או את הקבצים שהגדרנו. אם ברצוננו לבקש מהרובוטים לסרוק את כל האתר תוכלו להוסיף את הסימן / אחרי Allow, ניתן גם לוותר על Allow ולא להוסיף אותו לקובץ והסורקים עדיין יסרקו את כל האתר. חשוב לשים לב שיש להפריד את הפקודות בשורות חדשות, כלומר אם אתם רוצים לחסום את עמוד ההתחברות ועמוד המשתמשים לסריקה יש לחלק את הפקודות בשורות נפרדות, כך:

רצוי מאד להוסיף את מפת האתר לקובץ, אם אנחנו רוצים שלסורקים יהיה קל יותר לסרוק ולאנדקס את האתר. כמו כן מפת האתר עוזרת לסורקים לשים לב לעמודים חדשים ולסרוק אותם במהירות. את מפת האתר שמים בסוף הקובץ:

מומלץ מאד להוסיף את הקובץ robots.txt לאתר, שכן זה הדבר הראשון שהסורקים של מנועי החיפוש מחפשים. בנוסף, הקובץ תורם לקידום האתר כאשר הוא מונע סריקה של עמודים מיותרים שיכולים לפגוע ב”מיץ הקישורים” או עמודים משוכפלים שיכולים לפגוע בדירוג של האתר או עמודים אישיים שלא הייתם רוצים שיראו אותם בתוצאות החיפוש.

חשוב לשים לב לתקינות הפקודות ושאתם לא חוסמים בטעות עמודים שהייתם רוצים שיתאנדקסו.

תוכלו לבדוק את תקינות הקובץ robots.txt שלכם בעזרת Search console: סריקה> בדוק robots.txt

הכלי בודק את תקינות הקובץ robots.txt והמטרה היא לראות שאין שגיאות או אזהרות.

בהצלחה

אנו מזמינים אתכם להתייעץ עם חברת אוורסט המתמחה בקידום אתרים ופרסום בפייסבוק ובגוגל על בנייה נכונה של קובץ robots.txt.