Единственное, что может делать файл robots.txt - это закрывать от индексации файлы и каталоги. Но делать он это может выборочно, ориентируясь на имена роботов поисковых машин.
Если проект предназначен для индексации поисковыми машинами, присутствие файла robots.txt в каталоге WWW сервера обязательно. Некоторые поисковые машины производит индексацию, только при наличии этого файла. Закрывать от индексации, имеет смысл скрипты, архивы, графические файлы.