# /robots.txt
# Правила для поисковых роботов вашего сайта

# Правила для всех роботов (*).
# Вы можете указать специфичных роботов (например, Googlebot, Yandex),
# если хотите задать для них отдельные правила.
User-agent: *

# Запретить доступ к административной панели Django
Disallow: /adminshsovsks/

# Запретить доступ к стандартным URL аутентификации Django
# (если вы их используете и не хотите, чтобы страницы входа/регистрации индексировались)
Disallow: /accounts/login/
Disallow: /accounts/logout/
Disallow: /accounts/password_change/
Disallow: /accounts/password_change/done/
Disallow: /accounts/password_reset/
Disallow: /accounts/password_reset/done/
Disallow: /accounts/reset/
# Если у вас своя система аккаунтов, замените /accounts/ на ваш префикс

# Запретить доступ к приватным или тестовым разделам (если есть)
# Замените /private/ на ваши реальные пути
# Disallow: /private/
# Disallow: /test/
# Disallow: /beta/

# Запретить индексацию страниц поиска (часто создают дубликаты)
Disallow: /search/
Disallow: /*?q=
Disallow: /*&q=
Disallow: /*search?
Disallow: /*search=
# Адаптируйте под ваши параметры поиска, если они другие

# Запретить индексацию файлов из папки MEDIA (загруженные пользователями)
# Обычно не нужно, чтобы медиафайлы были в поиске отдельно от страниц.
# Google все равно сможет СКАЧАТЬ изображения/CSS/JS для рендеринга разрешенных страниц.
Disallow: /media/
# Если какие-то подпапки в /media/ должны быть доступны, используйте Allow:
# Allow: /media/public/

# Запретить индексацию файлов из папки STATIC
# По той же причине, что и /media/
Disallow: /static/

# --- Карта сайта ---
# Укажите ПОЛНЫЙ URL к вашему файлу(ам) sitemap.xml.
# Это очень важно для поисковых систем. Замените домен на свой!
Sitemap: https://shsovsks.ru/sitemap.xml
# Если у вас несколько карт сайта:
# Sitemap: https://vashdomen.com/sitemap_posts.xml
# Sitemap: https://vashdomen.com/sitemap_products.xml

# --- Дополнительные правила (примеры, раскомментируйте и адаптируйте при необходимости) ---

# Запретить конкретный файл
# Disallow: /documents/confidential_report.pdf

# Запретить все файлы определенного типа
# Disallow: /*.pdf$
# Disallow: /*.zip$

# Задать другие правила для робота Яндекса
# User-agent: Yandex
# Disallow: /for-google-only/ # Запретить Яндексу то, что можно Гуглу
# Crawl-delay: 1 # Задержка в 1 секунду между запросами (используйте осторожно)

# Задать другие правила для робота Google
# User-agent: Googlebot
# Disallow: /for-yandex-only/ # Запретить Гуглу то, что можно Яндексу
# Allow: /media/ # Разрешить Гуглу индексировать медиа, если нужно

# Host: vashdomen.com # Устаревшая директива, но можно оставить для совместимости