“Robots.txt ne yapar? Web’de ne işe yarar?” diyorsanız önce okuyalım  derim.     Şimdi birden aklıma geldi ben Google için robots.txt hazırlıyorum ama Google’un kendisi ne hazırlamış? Belki buna daha önce bakmışsınızdır. Ama bakmayanlar için güzel bir eğlence olacak. Bu dosya sayesinde Google kendisinde hangi adreslerin indexlenmesini istemediğini yazıyor. Herhalde kısır döngü ile indexini indexletmesin diye. [...]