Uno degli strumenti fondamentali per la SEO tecnica è il file robots.txt, che serve a istruire i motori di ricerca su cosa indicizzare e cosa no all’interno di un sito.
Magento permette di gestire il file `robots.txt direttamente dal pannello di amministrazione, senza dover accedere via FTP o modificare file nel server.
Dove si modifica?
Puoi configurare il file da:
Admin > Contenuti > Configurazione > [Seleziona vista store] > Modifica > Scheda “Impostazioni SEO” > Robots.txt Custom Instructions
Questa configurazione è per store view, quindi puoi gestire un robots.txt personalizzato per ogni store se necessario.
Esempio base di robots.txt per Magento
User-agent: *
Disallow: /admin/
Disallow: /customer/
Disallow: /checkout/
Disallow: /cart/
Disallow: /catalogsearch/
Disallow: /wishlist/
Disallow: /sendfriend/
Disallow: /review/
Disallow: /search/
Disallow: /index.php/
Disallow: /customer/account/
Disallow: /customer/section/
Disallow: /customer/account/forgotpassword/
Disallow: /customer/account/login/referer/
Disallow: /catalog/product_compare/
Disallow: /catalog/product/view/
Disallow: /contact/
Disallow: /newsletter/
Disallow: /*?dir*
Disallow: /*?limit*
Disallow: /*?mode*
Disallow: /*?p=*
Disallow: /*?price*
Disallow: /*?q=*
Disallow: /*?SID=
Disallow: /*?___from_store=
Disallow: /cgi-bin/
Disallow: /*.php$
Disallow: /*.php/
Disallow: /pub/
Disallow: /var/
Disallow: /setup/
Disallow: /errors/
Disallow: /cron.php
Disallow: /composer.json
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /README.md
Disallow: /INSTALL.txt
# Blocca le risorse non essenziali
Disallow: /media/catalog/product/cache/
Disallow: /media/wysiwyg/
Disallow: /media/tmp/
Disallow: /media/customer/
Disallow: /media/downloadable/
Disallow: /media/email/
Disallow: /media/import/
Disallow: /media/sitemap/
Disallow: /media/custom_options/
# Blocca l'indicizzazione delle query interne
Disallow: /*?___from_store=
Disallow: /*?SID=
Disallow: /*?___store=
Disallow: /*?p=
# Impedisce l'indicizzazione dei file CSS e JS (se non necessario)
Disallow: /static/
Disallow: /generated/
Disallow: /lib/
# Consentire l'accesso a file CSS, JS e immagini per un migliore rendering su Google
Allow: /media/*.css
Allow: /media/*.js
Allow: /media/*.png
Allow: /media/*.jpg
Allow: /media/*.jpeg
Allow: /media/*.gif
Allow: /media/*.svg
Allow: /media/*.webp
Allow: /media/*.woff
Allow: /media/*.woff2
Allow: /media/*.ttf
Allow: /media/*.otfUno degli strumenti fondamentali per la SEO tecnica è il file robots.txt, che serve a istruire i motori di ricerca su cosa indicizzare e cosa no all’interno di un sito.
https://www.tuosito.com/robots.txt