Fișierul robots txt este un fișier text simplu, amplasat în directorul rădăcină al site-ului (ex: public_html/robots.txt), care oferă instrucțiuni roboților web despre ce zone ale site-ului pot sau nu pot fi accesate.

Este folosit în principal pentru:

• a preveni încărcarea inutilă a serverului prin accesarea excesivă,
• a restricționa accesul la resurse care nu sunt relevante pentru indexare (ex: foldere temporare sau scripturi).

Notă! Regulile din fișierul robots.txt nu sunt obligatorii și pot fi ignorate de unii roboți. Totuși, majoritatea roboților legitimi (ex: Googlebot, Bingbot) le respectă. 

Cum se creează fișierul robots.txt

Dacă fișierul nu există deja:

Pasul 1: Deschideți File Manager din panoul de control

Pasul 2: Navigați către directorul rădăcină al domeniului (public_html)

Pasul 3: Creați un fișier nou numit robots.txt

Pasul 4: Adăugați regulile dorite, apoi salvați fișierul

Structura de bază a fișierului

Fișierul este compus din unul sau mai multe blocuri de reguli, cu următoarele componente:

• User-agent: specifică robotul căruia îi sunt adresate regulile;
• Disallow: indică directoarele sau paginile care nu trebuie accesate;
• Allow (opțional): permite accesul la anumite resurse, chiar dacă restul folderului este restricționat.

Exemple de reguli uzuale

Permiterea accesului tuturor roboților la întregul site

User-agent: * 

Disallow:


Această regulă înseamnă că toți roboții pot accesa tot conținutul.

Blocarea accesului la anumite directoare

User-agent: * 

Disallow: /cgi-bin/ 

Disallow: /tmp/ 

Disallow: /junk/


În acest exemplu, toate directoarele listate sunt excluse din accesare de către toți roboții.

Blocarea accesului pentru un robot specific

User-agent: Googlebot 

Disallow: /example-subfolder/


Această regulă împiedică doar robotul Google să acceseze directorul respectiv. 

Împiedicarea roboților să adauge produse în coș la nivelul WooCommerce

User-agent: * 

Disallow: /*add-to-cart=*

Disallow: /cart/ 

Disallow: /checkout/


Disallow: /my-account/

Notă! Pentru a proteja conținut sensibil, nu vă bazați doar pe robots.txt. În acest caz puteți implementa protecția cu parolă la nivel de director.