Die Datei robots.txt ist eine Textdatei, die auf dem Server einer Website gespeichert werden kann. Sie legt fest, ob und welche Unterseiten der Website die Crawler von Suchmaschinen besuchen und in ihren Index aufnehmen dürfen.