robots.txt Optimization
8 reviewsrobots.txt configured: admin/cart/parameters blocked, crawl budget preserved, sitemap declared. Verified in Google Tester. From 600 UAH.
Service
A correct robots.txt prevents duplicates and protects your crawl budget
I configure robots.txt for your site: utility pages, URL parameters and duplicates kept out of the index, so the crawl budget goes to pages that matter.
What I do:
- Audit of the current robots.txt for mistakes
- Blocking /admin/, /cart/, /checkout/ and sorting parameters
- Allow rules for assets Google needs to render the page (CSS, JS)
- Disallow rules for duplicates and utility pages
- Sitemap declared in robots.txt
- Verified with the Google robots.txt tester
To verify that robots.txt and the sitemap do not contradict each other, use the online audit.
Before and after
- Crawlers spend the crawl budget on utility pages, sorting parameters and duplicates
- CSS and JS are blocked, so Google cannot render the page properly
- The robots.txt file has mistakes and does not declare the sitemap
- Blocked: /admin/, /cart/, /checkout/ and sorting parameters; Disallow rules for duplicates
- Allow rules for the CSS and JS Google needs for rendering; the sitemap declared in robots.txt
- Crawl budget goes to the pages that matter; checked with the Google robots.txt tester
Reviews (8)
5.0Брала «Оптимізація robots.txt» для свого проєкту. Роботи сканували сміттєві URL. Все протестували перед тим як віддати.
Робили нам «Оптимізація robots.txt» — роботи сканували сміттєві URL. Зробили бекап перед роботами — приємно, що подбали. Звернусь ще раз із наступними задачами.
Залишаю відгук про «Оптимізація robots.txt». Боявся випадково закрити сайт у robots. Після здачі ще тиждень відповідали на дрібні питання. Тепер сплю спокійно за свій сайт.
Потрібна була послуга «Оптимізація robots.txt», і боявся випадково закрити сайт у robots. Видно, що людина глибоко розуміється на OpenCart. Буду рекомендувати колегам.
Звернувся за послугою «Оптимізація robots.txt». Були закриті CSS/JS для Google. Роботу здали з документацією і поясненнями. Зробили бекап перед роботами — приємно, що подбали. Буду рекомендувати колегам.
Write a review
Related Products
Service
DevOps / Linux Consultation (1 hour)
Service
Core Web Vitals Optimization
Service