robots.txt
# robots.txt for Astra Studio # Optimalizováno pro lepší indexaci vyhledávači # Povolit všechny crawlery User-agent: * Allow: / # Disallow admin and private pages Disallow: /PortfolioAdmin Disallow: /admin Disallow: /_* # Allow specific bots full access User-agent: Googlebot Allow: / User-agent: Bingbot Allow: / # Crawl delay to avoid overloading Crawl-delay: 1 # Sitemap locations Sitemap: https://astra-studio.cz/Sitemap Sitemap: https://astra-studio.cz/sitemap.xml
Pro použití: Zkopírujte obsah výše a vytvořte soubor robots.txt v kořenovém adresáři webu.