Robots.txt Nasıl Oluşturulur? Django Projesine Dahil Edilmesi

Giriş

Bu blog yazımızda birlikte robots.txt oluşturma adımlarını tamamlayarak web sitemiz için robots.txt kullanımına başlayacağız. Django projesi için detaylı anlatım sağlayacağız ancak sunucu üzerinde değil de hosting üzerinde çalışan bir web siteniz varsa bunu yapmanın yolu oldukça basittir.

Robots.txt Dosyası Nasıl oluşturulur?

Yeni bir metin belgesi oluşturun ve adını 'robots.txt' yapın.

Metin düzenleyicisi ile kuralları belirleyin.

Temel kurallar şu şekilde olmalıdır:

User-agent: *                               # Hangi arama motorunu kabul ettiğini belirtir. ('*' diyerek tüm arama motorlarından gelen isteklere karşılık vereceğiz)       
Disallow: /admin/                           # Hangi sayfayı indekslememesi gerektiğini belirtir. ('/admin/' varsa admin kontrol paneli veya diğer hassas içerikli sayfalar)
Allow: /                                    # Nelere izin verdiğimizi belirtir. (' / ' kök dizinden başlayarak tüm bağlantıları takip etmesini söylemiş oluruz.)           
Sitemap: https://www.sitem.com/sitemap.xml  # Varsa sitemap.xml dosyasının yolunu belirtiriz. ( sitemap.xml dosyanız yoksa 'sitemap.xml nasıl oluşturulur' inceleyin.)     

Dosyayı kaydedin hosting üzerinde çalışan bir web sitemiz varsa oluşturduğunu robots.txt dosyasını kök dizin içerisine yüklemeniz yeterli olacaktır. (/index, sayfasının bulunduğu konum / "www.sitem.com/robots.txt" yazınca gidebilmeli!)

Django Projesine Robots.txt Eklenmesi

Projemizin kök dizininde bulunan urls.py dosyasını açıyoruz. (settings.py ile aynı konumda)

urls.py içerisinde aşağıdaki modülü import ediyoruz.

from django.views.generic import TemplateView 

urlpatterns içerisine path belirtmemiz gerekiyor:

urlpatterns = [                                                                                      
     ... ,                                                                                           
     ... ,                                                                                           
     path('robots.txt', TemplateView.as_view(template_name="robots.txt", content_type='text/plain')),
]                                                                                                    

belirtmiş olduğumuz yola göre robots.txt dosyanızı templates klasörünün içerisine yüklemeniz gerekiyor. Eğer kök dizinde oluşturmak isterseniz app_name = 'main' tanımlamasını aşağıdaki gibi yapın.

app_name = 'main'                                                                                         
urlpatterns = [                                                                                           
     ... ,                                                                                                
     ... ,                                                                                                
     path('robots.txt', TemplateView.as_view(template_name="main/robots.txt", content_type='text/plain')),
]                                                                                                         

Artık robots.txt hazır şimdi test edelim www.sitem.com/robots.txt bağlantısı sorunsuz bir şekilde açıyorsa işlem tamamdır.

Sonuç

Web sitemize robots.txt eklemeyi adımlarla anlattık robot.txt nedir ve neden sitemize eklememiz gerekiyor önceki blog yazımızdan inceleyebilirsiniz. Eğer robots.txt bağlantısı sizde açmıyorsa lütfen adımları tekrar gözden geçiriniz.