Safak

Nasıl robotstxt dosyası oluşturabilirim?

Bu dosyayı herhangi bir metin düzenleyicisini kullanarak oluşturabilirsiniz Dosyanın, HTML değil, ASCII kodlu metin dosyası olması gerekir Dosya adı küçük harfle yazılmalıdır
Söz dizimi
En basit robotstxt dosyasında iki kural kullanılır:

• Kullanıcı Aracısı: aşağıdaki kuralın geçerli olduğu robot
• İzin verme: engellemek istediğiniz sayfalar

Bu iki satır, dosyada tek bir giriş sayılır İstediğiniz kadar çok giriş ekleyebilirsiniz Tek girişe birden çok İzin Verme satırı ve birden çok Kullanıcı Aracısı ekleyebilirsiniz
Kullanıcı Aracısı satırında ne listelenmelidir?
Kullanıcı aracısı, belirli bir arama motoru robotudur Web Robotları Veritabanı'nda, pek çok sık kullanılan bot listelenir Bir girişi belirli bir bota (adını listeleyerek) veya tüm botlara (yıldız işareti koyarak) uygulanacak şekilde ayarlayabilirsiniz Tüm botlara uygulanan bir giriş şöyle görünür:
Kullanıcı Aracısı: *Google, birbirinden farklı çeşitli botlar (kullanıcı aracıları) kullanır Bizim web aramamız için kullandığımız bot, Googlebot'tur Googlebot-Mobile ve Googlebot-Image gibi diğer botlarımız, Googlebot için belirlediğiniz kurallara uyar; ancak bu botlar için özel olarak ek kurallar belirlemeniz de mümkündür
İzin Verme satırında ne listelenmelidir?
İzin Verme satırında engellemek istediğiniz sayfalar listelenir Belirli bir URL'yi veya modeli listeleyebilirsiniz Girişin düz eğik çizgiyle (/) başlaması gerekir

• Sitenin tamamını engellemek için, düz eğik çizgi kullanın
  İzin verme: /
• Bir dizini ve o dizinin içinde bulunan tüm öğeleri engellemek için dizin adının sonuna bir düz eğik çizgi koyun
  İzin verme: /ozel_dizin/
• Bir sayfayı engellemek için o sayfayı listeleyin
  İzin verme: /ozel_dosyahtml

URL'ler büyük küçük harfe duyarlıdır Örneğin, İzin verme: /ozel_dosyahtml, http://wwwornekcomtr/ozel_dosyahtml sayfasını engeller, fakat http://wwwornekcomtr/Ozel_Dosyahtml sayfasına izin verir