Les robots.txt servent aux Webmasters à un peu contrôler les moteurs de recherche lorsqu’ils visitent leurs sites et surtout de ne pas indexer n’importe quoi. Bref si vous n’êtes pas Webmaster, vous devez trouver cela barbant. Cependant si vous avez l’âme d’un Geek, vous allez apprécier celui de Last.fm puisqu’il détourne les 3 lois de la robotique.
Source: BuzzFeed
