robots.txt webmasterlerin botları sitelerine çekebilmeleri için en kolay yöntemlerden bir tanesidir. Bazı arkadaşlar bu robots.txt dosyasını oluşturmakta zorlanmaktalar. En kolay yoldan robots.txt oluşturacağınız bir site adresinizi sizlerle paylaşmak istedim bende. Listede seçmek istediğiniz botların karşısındaki Allowed seçeneğini işaretleyin.. Yasak koymak istediğiniz klasörleride alt kısımdaki kutucuklarda ayarlayın tamamdır.. Sonrasınıda söylememe gerek yok sanırım ?..Neyse işinize yarar umarım.. Kolay gelsin bol robotlu günler

http://www.mcanerin.com/EN/search-engine/robots-txt.asp