Google Sitemaps

Google heeft weer een proefballonetje opgelaten. Dit bericht bereikte me gisteravond via Google Blog:

We’re undertaking an experiment called Google Sitemaps
that will either fail miserably, or succeed beyond our wildest dreams,
in making the web better for webmasters and users alike. It’s a beta
“ecosystem” that may help webmasters with two current challenges:
keeping Google informed about all of your new web pages or updates, and
increasing the coverage of your web pages in the Google index.

Initially,
we plan to use the URL information webmasters supply to further improve
the coverage and freshness of our index. Over time that will lead to
our doing an even better job of delivering more search results from
more websites. (Danny Sullivan interviewed me about this if you want to
read more.)

This project doesn’t just pertain to Google, either: we’re releasing it under the Attribution/Share Alike Creative Commons license
so that other search engines can do a better job as well. Eventually we
hope this will be supported natively in webservers (e.g. Apache, Lotus
Notes, IIS). But to get you started, we offer Sitemap Generator, an open source client in Python to compute sitemaps for a few common use cases. Give it a whirl and give us your feedback.

Let op: Het gaat hierbij om een sitemap in een door Google definieerd XML formaat en dus niet om gewone HTML pagina’s. Dit lijkt een erg goede manier om een website in één keer op te nemen in de zoekmachines, zonder dat Googlebot pauzes neemt van enkele dagen.

Na 6 uur (!) was er overigens al code die een dergelijke Sitemap genereert voor Wordpress blogs (via Social Patterns). Ik heb meteen de proef op de som genomen en voila, hier is mijn Google Sitemap.

Toevallig heb ik net een compleet nieuwe website in de pen die vanmiddag live moet gaan, met enkele honderden pagina’s en een vrij diepe link structuur. Dit lijkt mij een mooie gelegenheid om te testen hoe snel een dergelijke website wordt opgenomen in Google als er een XML Sitemap beschikbaar is. Ik zal mijn bevindingen natuurlijk op dit weblog plaatsen!

Update:

Ook voor Movable Type is inmiddels code beschikbaar.

Update 2:

Blijkbaar kun je ook een lijst met URL’s in .txt formaat creëren, met op elke regel een andere URL.

Is Google wel eerlijk?

James Archer van Forty Media stuit op een interessant punt. Hoewel ze er alles aan deden om een voor Google acceptabele website te creëren, zonder gebruik te maken van verboden ’spam’ technieken, kregen ze toch een penalty van Google. Ze hadden schone code, goede content, goed trefwoorden en een heldere linkstructuur. De strategie van Forty Media bestond er verder uit om veel links te krijgen vanaf andere websites door op hun corporate weblog interessante artikelen te plaatsen. Eén van die artikelen werd zeer goed ontvangen in de ‘blogospere’, enorm veel weblogs linkten naar de website van Archer en toch bleef hun website in de zoekresultaten ver achter bij de concurrentie.

Schijnbaar ging er ergens in het ranking systeem van Google een belletje rinkelen dat het aantal links naar de betreffende website niet kon kloppen. Er zijn natuurlijk meerdere mensen die dit zijn tegengekomen, vooral professionele zoekmachineoptimalisators. Er is zelfs al een term voor bedacht: de ‘Sandbox‘. Dit gedeelte van Google’s algoritme zorgt er voor dat linkspammers minder baat hebben bij commentspam, maar kan er dus ook voor zorgen dat je 6 maanden lang niet naar boven of naar beneden beweegt in Google’s index.

Archer geeft enkele tips die je uit de Sandbox kunnen houden:

• Zorg er voor dat je zo snel mogelijk een domeinnaam registreert met enige relevante content
• Zorg er voor dat er regelmatig inkomende links bijkomen, zonder echt grote ‘pieken’
• Richt je eerst op het verkrijgen van links in grotere, bekende websites, in plaats van veel links van kleinere websites
• Zorg er voor dat je niet afhankelijk wordt van één zoekmachine. Een zoekmachine is namelijk zo veranderlijk als het weer. Hou er bij het opzetten van je strategie rekening mee dat je ook zonder zoekmachines klanten moet kunnen krijgen.

Google Pagerank?

Zoekmachinespam

Opgeruimd staat netjes. Omdat de bedrijven “in het verleden” de zoekmachine hebben proberen te misleiden zijn de sites van FBTO en AMEV zijn getroffen door een boycot van Google. Checkit, het zoekmachine marketing bureau van de verzekeraars, maakte naar eigen zeggen tot 2004 gebruik van technieken die zoekmachines op het verkeerde been zetten. Om een pagina zo hoog mogelijk in de lijstjes te laten krijgen, krijgt de zoekmachine hierbij een andere pagina te zien dan de menselijke bezoeker. Inmiddels wordt deze techniek, die cloaking genoemd wordt, niet of nauwelijks meer gebruikt door Checkit, zo stelt Aelen.

‘We gebruiken cloaking alleen nog in heel bijzondere gevallen, als het echt niet anders kan. Bijvoorbeeld bij een site van een biermerk waar een leeftijdscontrole opzit. Helaas blijkt het doorvoeren van de aanpassingen bij onze klanten meer tijd te kosten dan was verwacht. Dat heeft erin geresulteerd dat we bij enkele van de meer dan 200 klanten door de tand des tijds zijn ingehaald en dat deze pagina’s voor enkele klanten uit de Google index zijn verwijderd. We betreuren dit incident en hechten er waarde aan nogmaals te benadrukken dat het hier over verouderde zoekmachine pagina’s gaat’.

Leugenaar?

Het is zeer de vraag of Aelen de waarheid spreekt. Checkit heeft namelijk veel meer zaakjes lopen die niet door de beugel kunnen, zoals bijvoorbeeld voor hun klant Orange. Als je in Google zoekt naar ‘mobiel abonnement‘ dan zie je Orange op de 2e plaats staan. Wat hier mis mee is? Wel, deze pagina is gebaseerd op frames, echter Google ziet dat niet. De frames worden met behulp van een Javascript geladen waarbij alle teksten op de pagina opeens onzichtbaar worden en de bezoeker alleen de inhoud van de frames te zien krijgt. Google kan namelijk niet overweg met Javascript, terwijl de browser van de bezoeker dat wel kan. Is dit zoekmachinespam? Jazeker, de bezoeker schiet er namelijk niets mee op, terwijl het 3 of 4 aanbevelingen van Google aan de kant schuift, namelijk:

• Vermijd verborgen teksten en verborgen koppelingen.
• Laat u niet in met cloaking of met stiekeme redirects.
• Stop uw pagina’s niet vol met irrelevante woorden.
• Maak geen “doorway”-pagina’s die alleen maar bedoeld zijn voor zoekmachines.

Hieronder 2 afbeeldingen van de webpagina van Orange mét en zonder Javascript:

Het lijkt mij duidelijk dat dit een zuivere vorm van zoekmachinespam is. Wie geeft Orange aan bij Google?

Ook een zogenaamd betrouwbaar bedrijf als Traffic4u is niet ’schoon’. Voor hun klant Coca Cola maken ze gebruik van verborgen links om websites naar elkaar te laten linken. Op deze manier proberen ze de pagerank van de individuele websites omhoog te krikken.

UPDATE

De uitspraak dat ook Traffic4u niet ’schoon’ is is bij nader inzien onterecht. De website van Coca Cola Enterprises bevat geen technieken die niet door de beugel kunnen en is dus op juiste wijze geoptimaliseerd. De verborgen links op de homepage lijken onderdeel van de template en worden verderop in de website ook daadwerkelijk gebruikt.

Speciale zoekdienst voor weblogs

Google-baas Eric Schmidt heeft in een bijeenkomst voor onderzoekers en bibliotheekmedewerkers eerder deze week aangekondigd dat zijn bedrijf binnenkort met een zoekdienst voor weblogs komt. Het is nog onduidelijk of weblogs bij Google ook van de rest van het web zullen worden gescheiden en dus niet meer in de gangbare zoekresultaten terecht zullen komen. Het Britse blad The Register denkt echter dat dat wel zover zal komen en verwijst daarbij naar enkele jaren geleden toen Google het Usenet-archief van Deja.com overnam. Deze nieuwsgroepen werden destijds van het www gescheiden.

Hoewel er veel mensen zijn die weblogs het liefst meteen uit de rankings zien verdwijnen hebben er ook veel mensen voordeel bij. Weblogs bevatten net als gewone websites, encyclopedieën en webwinkel informatie. Mensen die op zoek zijn naar informatie willen daar niet op 2 of meer plekken naar zoeken.

Ook voor Google zelf zou het niet handig zijn om de weblogs te ‘negeren’. Hun eigen Blogger.com bevat miljoenen pagina’s met daarop de voor Google belangrijke Adsense advertenties. Als Google deze pagina’s uit de normale zoekdienst weert dan gaat dat ten koste van het aantal bezoekers aan deze weblogs en dus ook ten koste van de daaraan gekoppelde inkomsten.

Update
Google Blog Search is er inmiddels al een tijdje, maar van het weren van weblogpagina’s uit de gewone index is gelukkig nog steeds geen sprake.