User-agent: *                   # Создаем секцию правил для роботов. * значит для всех
								# роботов. Чтобы указать секцию правил для отдельного
								# робота, вместо * укажите его имя: GoogleBot, Yandex.
Disallow: /cgi-bin              # Стандартная папка на хостинге.
Disallow: /wp-admin/            # Закрываем админку.
Allow: /wp-admin/admin-ajax.php # Откроем аякс.
Disallow: /?                    # Все параметры запроса на главной.
Disallow: *?s=                  # Поиск.
Disallow: *&s=                  # Поиск.
Disallow: /search               # Поиск.
Disallow: /author/              # Архив автора.
Disallow: */embed$              # Все встраивания.
Disallow: */xmlrpc.php          # Файл WordPress API
Disallow: *utm*=                # Ссылки с utm-метками
Disallow: *openstat=            # Ссылки с метками openstat
User-agent: Mail.ru
User-agent: YandexAdditionalBot
User-agent: YandexBot # будет использоваться только основным индексирующим роботом
User-agent: Yandex # будет использована всеми роботами Яндекса
User-agent: Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)
User-agent: Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
User-agent: Mozilla/5.0 (compatible; Linux x86_64; Zen_Bot/2.0; +https://help.mail.ru/webmaster/indexing/robots)
Allow: /feed/zen/