robots.txt

# robots.txt for Astra Studio
# Optimalizováno pro lepší indexaci vyhledávači

# Povolit všechny crawlery
User-agent: *
Allow: /

# Disallow admin and private pages
Disallow: /PortfolioAdmin
Disallow: /admin
Disallow: /_*

# Allow specific bots full access
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# Crawl delay to avoid overloading
Crawl-delay: 1

# Sitemap locations
Sitemap: https://astra-studio.cz/Sitemap
Sitemap: https://astra-studio.cz/sitemap.xml

Pro použití: Zkopírujte obsah výše a vytvořte soubor robots.txt v kořenovém adresáři webu.