Robots.txt αρχεία και πως μπορείτε να δώσετε εντολές στις μηχανές αναζήτησης
Με το αρχείο Robots.txt μπορείτε να επικοινωνήσετε με τις μηχανές αναζήτησης και να τις πείτε πως να συμπεριφερθεί στις σελίδες του διαδικτυακού σας τόπου. Ονομάζεται έτσι γιατί απευθύνεται στα αυτόματα προγράμματα αναζήτησης των μηχανών αναζήτησης, τα οποία ονομάζονται Search Bots (bot=robot).
Δηλαδή:
Το αρχείο Robots.txt είναι ένα απλό .txt αρχείο το οποίο μπορεί να γραφτεί στο Notepad ή στο TextEdit, το οποίο βρίσκεται στο root directory ενός website, και περιέχει απλές εντολές που δίνουν σαφής οδηγίες στα bots των μηχανών αναζήτησης σχετικά με το πως να συμπεριφερθούν στις σελίδες του website.
Παράδειγμα ενός robots.txt
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
Αν και το robots.txt αρχείο έχει την παραπάνω λειτουργία, δεν μπορεί να χρησιμοποιηθεί για να κρύψει/εμφανίσει πληροφορίες σε κανέναν και σε τίποτά άλλο εκτός από τις νόμιμες μηχανές αναζήτησης. Bots τα οποία λειτουργούν για spam, τα spam bots δεν λαμβάνουν υπόψη τους τα robots.txt αρχεία.
Οι εντολές που αναφέρθηκαν πριν είναι απλές στην συγγραφή τους και πολύ λίγες σε αριθμό. Στο διαδίκτυο υπάρχουν πολλές σχετικές πηγές που αναφέρουν τον τρόπο με τον οποίο πρέπει να γράφεται ένα Robots.txt αρχείο. Μερικές από αυτές είναι οι:
- http://www.robotstxt.org/
- http://tool.motoricerca.info/robots-checker.phtml
- http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=40360
- http://www.shoemoney.com/2008/03/03/wordpress-robotstxt-tips-against-duplicate-content/
Εάν θέλετε να δείτε όλα τα robots που υπάρχουν στο διαδίκτυο, μπορείτε να μεταβείτε στην σελίδα http://www.robotstxt.org/db.html όπου υπάρχει μια σχετική λίστα.
Εάν δεν σας ενδιαφέρει να μάθετε τις λειτουργίες αυτές, αλλά θέλετε παρόλα αυτά να εκμεταλλευτείτε τις λειτουργίες που προσφέρει αυτό το αρχείο, μπορείτε να μεταβείτε στο http://www.mcanerin.com/en/search-engine/robots-txt.asp και να δημιουργήσετε δωρεάν το δικό σας, ακολουθώντας απλά μερικά εύκολα βήματα.
Ανοίξτε ή κλείστε λοιπόν τις πύλες του διαδικτυακού σας τόπου!
ΧΡΗΣΙΜΗ ΠΛΗΡΟΦΟΡΙΑ: Το άρθρο Robots.txt αρχεία και πως μπορείτε να δώσετε εντολές στις μηχανές αναζήτησης γράφτηκε από το WebDesignBlog. Η ομάδα μας σας υπενθυμίζει πως αν θέλετε να ενημερώνεστε για τα νέα του διαδικτύου και για επιλεγμένα άρθρα μας, μπορείτε να γραφτείτε εύκολα στο Newsletter μας ή στο RSS Feed μας.
