איך להיפטר מתוכן כפול

מאת הראל משה | תגובות (0) | טרקבקים (0)

צריך להגדיר קובץ robots.txt כדי לחסום סריקה כפולה של הדפים באתר.
robots.txt טוב נגד ספאמרים, לדירוג האתר במנועי חיפוש ולשיפור תוצאות החיפוש באתר.

שיפור תוצאות החיפוש באתר שלנו.
כאשר אנחנו עורכים חיפוש לתוכן שבאתר, תוצאות החיפוש מציגות טונות של תוכן כפול,
ובמקום לקבל תוצאות רלוונטיות מקבלים חזרה איזה 1000קישורים לאותה כתבה.

קובץ ה- robots הוא הקובץ ש"אומר" למנועי החיפוש איזה תוכן מהאתר להציג ואיזה לא להציג.
כאשר מנועי החיפוש סורקים את האתר שלנו הקובץ הראשון אליו הם פונים הוא: robots.txt
הפירוש הכי קרוב למילים הוא: "נקודת מבט של רובוט"
Using a robots.txt file gives you a search engine robots point of view

במידה ואין קובץ כזה, הם פשוט סורקים את כל הספריות מתחת ל- www
מה שיוצר תוכן כפול (תגובות, רסס, דפי ארכיב) ומאפשר לספאמרים ולכל מי שרוצה להציץ לנו
בספריות ההתקנה.
—————
אוקי, זה חשוב, מה עושים ואיפה?

קידום האתר שלנו במנועי חיפוש שונים.
נתחיל עם וידאו מעניין המסביר את הנזק שתוכן כפול גורם לאתר שלנו.

התשובה היא פשוטה : לכתוב קובץ: Robots.txt ,להגדיר מפת אתר ולבסוף לבצע בדיקה
לתקינותו וציונו של האתר במנועי חיפוש (+ גוגל ישראל).
התשובה הפחות פשוטה: כדי להגיע לשיפור משמעותי בתוצאות החיפוש נצטרך להגדיר:
פרמלינקים והוספה והגדרה של תאגים וקטגוריות.

http://www.youtube.com/watch?v=BiCn6y6JU8o

הורדה: robots.txt
ניתן למנוע ממנועי החיפוש לסרוק את הקבצים הרגישים בספריית ההתקנה של וורדפרס.
אפשר להוריד קובץ robots.txt מוכן או להכין אחד לבד.
לפחות בהתחלה אני ממליץ להתחיל עם הגדרה מינימלית (למשל כמו בתמונה) ולא לפוצץ בפקודות.
Wordpress robots.txt file

העלה robots.txt לשרת.
נפתח קובץ טקסט חדש ונדביק בתוכו את הקוד שבתמונה.
נשמור אותו כ- robots.txt ונעלה אותו לשרת.
הקובץ צריך להיות ממוקם: (yoursite.com/robots.txt) תחת הספרייה הראשית של www.
מיקום קובץ robots.txt אם הקובץ כבר קיים, נוסיף את הקוד ולא נדרוס.

חסימות נוספות: robots.txt

ניתן למנוע מגוגל לסרוק קישורים לתמונות: Googlebot-Image.
ניתן למנוע מגוגל להציג גירסה מאוחרת של האתר: NOARCHIVE.

משימה אחרונה: הגדרה נוספת המומלצת לשיפור הצגת התוכן באתר היא יצירת מפת אתר.
נוכל לייצר אחד לבד ע"י פתיחת עמוד חדש בשם "sitemap" ולהוסיף אליו את תוכן האתר.
או לחלופין נוכל להשתמש בפלאגין: Google XML Sitemaps או dd sitemap |ווידאו.

אוקי, עכשיו מה?
נצטרך לבדוק אם עשינו עבודה טובה.

הבדיקה הראשונה צריכה להיות: "גוגל-כלי מפתחים|אבחון קובץ robots ".
נדרשת בדיקת ווידוי מגוגל| ראה גם: AskApache Search Engine Verify
בנוסף אפשר לבדוק את תקינות הקובץ ע"י שימוש בכלים חיצוניים:
robots_validator, robots-checker
הבדיקה השנייה: חיפוש בגוגל ספציפי לאתר ע"י הכנסת הפרמטר "site:domain.com "
ולאבחן את תוצאות החיפוש
הבדיקה השלישית היא להמשיך ולבדוק את התוצאות לפחות עד שיעודכנו באינדקס של גוגל.
ראה גם: Free Monitor tool for Google