Для чего нужен файл robots.txt?

Файл robots.txt, расположенный в корневой папке Вашего сайта, необходим для управления индексацией. С помощью файла robots.txt вы можете запретить к индексации как весь сайт, так и отдельные его категории и страницы.

Конечно, запрещать к индексации весь сайт не нужно, Вы же хотите получать посетителей с поисковых систем , однако в некоторых случаях файл robots.txt очень помогает.