הבנת robots.txt

קובץ robots.txt הוא קובץ טקסט פשוט שמנחה מנועי חיפוש ורובוטים אילו חלקים באתר שלך לסרוק ואילו חלקים להימנע מלסרוק. הוא עוזר לך לשלוט אילו חלקים באתר שלך יופיעו באינדקס.

כדי לחסום את בוט WSEIL מלסרוק את כל הדומיין שלך (לדוגמה, example.net.il), הוסף את הקוד הבא לקובץ robots.txt שלך:

אם ברצונך לחסום רק תיקייה מסוימת (למשל, /private), השתמש בקוד הזה:

כדי להגדיר השהיית סריקה לכל הבוטים, השתמש בקוד הבא:

כדי להגדיר השהיית סריקה ספציפית עבור בוט WSEIL:

נשמח מאוד אם תאפשרו לנו לסרוק ולאנדקס את האתר שלכם, ואנו מאמינים שגם אתם תפיקו מכך תועלת.

קובץ robots.txt, כפי שמתואר בויקיפדיה, ממוקם בספריית השורש של האתר ומספק הנחיות לרובוטי מנועי חיפוש כיצד לסרוק את התוכן של האתר. למידע נוסף על קובץ robots.txt בויקיפדיה.