บางครั้งเราก็ไม่ต้องการให้ bot ของ Search Engine เข้ามาทำการ Index บางหน้าหรือบางไดเร็คทอรี่ของเว็บไซต์ เช่น หน้าลงทะเบียน หรือ ไดเร็คทอรี่ของ Admin เป็นต้น เราสามารถกำหนดลงใน ไฟล์ robots.txt ได้ครับ
สำหรับคำสั่งที่สามารถใช้ใน robots.txt ได้ มีดังนี้ครับ
# ข้อความบรรทัดนี้คือ comment
User-agent: * หมายถึงทุก Search Engine
User-agent: Search Engine หมายถึง ชื่อ Search Engine ที่ระบุ
Disallow: ไม่มีอะไรต่อท้าย หมายถึงยอมให้ Search Engine เข้ามาทำ Index ได้
Disallow: / หมายถึง ไม่ให้ Search Engine ทำการ Index ตั้งแต่ไดเร็คทอรี่ราก หรือ
Disallow: /path/to หมายถึงไม่ให้ Search Engine ทำการ Index ไดเร็คทอรี่ที่กำหนด หรือDisallow: /*.ext$ หมายถึงไม่ให้ Search Engine ทำการ Index ไฟล์ที่นามสกุลที่เรากำหนด
ไฟล์ robots.txt นี้ เราจะสร้างด้วย notepad ธรรมดาแล้วอัปโหลดไว้บนไดเร็คทอรี่รากของ server ครับ
ตัวอย่างการกำหนดในไฟล์ robots.txt
ไม่ต้องการให้ SE เข้ามาทำ Index site ของเรา (ทุกยี่ห้อเลย)
User-agent: *
Disallow: /
กำหนด บาง SE ไม่ให้ทำการ index site ของเรา (ทั้งเว็บไซต์)
User-agent: Googlebot
User-agent: msnbot
Disallow: /
ป้องกัน บางไดเร็คทอรี่ (ไดเร็คทอรี่ path/)
User-agent: *
Disallow: /path
หรือ (ไดเร็คทอรี่ path/to/)
Disallow: /path/to
ป้องกันบางไฟล์ เช่น ไฟล์ page.php ในไดเร็คทอรี่ path/to
User-agent: *
Disallow: /path/to/page.php
หรือ สำหรับไม่ให้ SE ทำ Index ไฟล์ นามสกุล jpg ทั้งหมด
Disallow: /*.jpg$
นอกจากนั้นเรายังสามารถกำหนดลงใน meta ของ เพจได้ด้วย สำหรับทำการป้องกันแค่บางเพจที่เราต้องการ
meta name="Googlebot" content="noindex, nofollow"
meta name="MSNbot" content="noindex, nofollow"
หรือสำหรับ บอต ทุกยี่ห้อ
meta name="robots" content="noindex, nofollow"
โดย : NETTO
ที่มา : http://www.goragod.com/
ไม่มีความคิดเห็น:
แสดงความคิดเห็น