Il file robots.txt fa parte del Robots Exclusion Protocol (REP), un conglomerato di standard che regolano il modo in cui i robot eseguono il crawl del web, l’accesso e l’indicizzazione dei contenuti, e come presentano tali contenuti agli utenti.

Leggi tutto ⇨ Che cosa è il file Robots.txt

Powered by WPeMatico

Leave a comment