Manchmal kann es sehr nützlich sein, sich einmal als Google-Bot auszugeben. Das geht mit dem User Agent.

Jeder Browser gibt beim Surfen durch das Internet einen so genannten User Agent an die Webseite auf die man surft. So gibt der Firefox sich zum Beispiel als “Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.8.1.4) Gecko/20070515 Firefox/2.0.0.4″ zu erkennen. Der Internet Explorer zeigt sich als “Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322)”. Diese Angaben variieren dann zusätzlich je nach Versionsnummer und Betriebssystem. Genutzt werden kann diese Information zum Beispiel um so genannte Browserweichen in eine Website einzubauen. Unter anderem um das Aussehen der Webseite im Internet Explorer an das Aussehen im Firefox anzupassen (Browserweichen für Designanpassungen). Manche findige Webmaster nutzen die Angaben des User Agent jedoch auch, um dem Google-Bot, der die Webseiten indiziert, einen anderen Inhalt zu zeigen als der eigentliche Internetsurfen dann sieht. Zum Beispiel kann Google so genannten Paid-Content indexieren, sobald jedoch ein Nutzer mit dem Firefox und dem Internet Explorer auf die Seite kommt, muss er bezahlen, bevor er die Seite sehen kann.

Jedoch bietet der Firefox die Möglichkeit, den User Agent frei zu wählen. Und so kann man sich die Webseiten aus Sicht des Google Bots anschauen:

In der Adressleiste des Browsers eingeben: about:config  -> Rechte Maustaste -> Neu -> String -> Eigenschaftsname: general.useragent.override -> Wert: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Danach gibt sich der Webbrowser Firefox als Googlebot aus.

Will man die Änderung rückgängig machen, sucht man anhand der Filter den Wert “general.useragent.override”, klickt mit der rechten Maustaste darauf und bestätigt das Feld zurücksetzen.

Übrigens kann es zu Schwierigkeiten kommen, wenn man dauerhaft mit dieser Einstellung surft. Ich konne diesen Beitrag nicht mit WordPress verfassen, solange ich als Google-Bot angemeldet war. Wahrscheinlich weil eine Javascript-Weiche meinen Browser nicht richtig erkannt hat.

Auch für Webseitenbetreiber kann die Abfrage des User-Agenten und die damit zusammenhängende Änderung des Inhalts der Seite (Content) Gefahren mit sich bringen. So ist zum Beispiel nicht ausgeschlossen, dass Google sich auch einmal als Firefox ausgibt und die Inhalte der Seite mit denen als Google-Box vergleicht. Das ist aus Suchmaschinenoptimierungstechnischer Sicht nicht so gut und könnte evtl. zur Verschlechterung des Rankings in der Suchmaschine führen.