Was ist die Robots.txt-Datei?

Mithilfe dieser Datei werden die Bots (Programme) der Suchmaschinen die zur Indizierung die Website besuchen, auf die richtigen Seiten geleitet oder es können Bereiche gesperrt werden, die nicht indexiert werden sollen.