Google Sitemap Test #3

Voor de mensen die het de afgelopen tijd gevolgd hebben: het Google Sitemaps experiment lijkt niet echt geslaagd te zijn. Googlebot heeft het na de eerste veelbelovende 24 uur geheel af laten weten. Er zijn inmiddels wel 2 pagina’s opgenomen in Google, namelijk de homepagina en de sitemap zelf, maar daar blijft het voorlopig bij. In totaal zijn er sinds vrijdag 14 van de ca. 250 pagina’s doorlopen. De XML file wordt overigens wel trouw elke dag gedownload door Google.

Het mag duidelijk zijn dat het aanmelden van een XML sitemap bij Google geen noemenswaardige voordelen heeft. Wellicht dat het in de toekomst gaat veranderen, het is tenslotte ook van Google’s kant een experiment, maar voorlopig kan men net zo goed op de oude manier URL’s toevoegen aan Google.

Tag clouds

Je kunt er niet meer omheen. Tag clouds. De wolkjes met trefwoorden die je op steeds meer websites tegenkomt, waarbij de waarde van een link visueel is weergegeven door een bijpassende tekstgrootte. Hoewel ik het door het vele gebruik nu al een beetje een cliché vindt worden is het natuurlijk wel een nuttige aanvulling op de gebruiksvriendelijkheid van een website.

Ik heb nog even getwijfeld of het ook in mijn geval wel handig is. Om de voordelen van een tagcloud ook echt goed te gebruiken moet het wolkje wel op een prominente plaats van de website gepositioneerd worden. Ook moet elk (oude en nieuwe) artikel voorzien worden van tags en natuurlijk moeten deze tags als link worden weergegeven onder het bijbehorende artikel. Een bezoeker kan dan eenvoudig doorklikken naar het overzicht met artikelen die van deze tag voorzien zijn. Hoewel dit ingrijpende veranderingen zijn was het wel de bedoeling dat dit op template niveau kon geschieden, zodat ik niet bij elke update van Wordpress dezelfde wijzigingen in het pakket moest doorvoeren. Bovendien moesten mijn oude pagina’s met categorieën wel blijven bestaan, aangezien deze pagina’s ook zijn opgenomen in Google en het niet de bedoeling is dat bezoekers confronteer met 404 errors.

Uiteindelijk heb ik besloten om de categorieën van Wordpress om te bouwen naar tags. Hiervoor heb ik gebruik kunnen maken van ‘Cat2Tag‘. Deze plugin geeft je de mogelijkheid om artikelen te voorzien van tags ipv categorieën, zonder dat je daarvoor ingrijpende veranderingen hoeft te doen. Bovendien neemt het de bestaande categorienamen over zodat het niet per sé nodig is om oude artikelen te voorzien van tags. De ‘Weighted Categories‘ plugin is verder gebruikt om de daadwerkelijke tag cloud weer te geven op de pagina. Een simpele modificatie van het template volstond daarna om het wolkje weer te geven. Vanaf nu staat er dus telkens onder mijn eerste post boven mijn eerste post een mooi wolkje met de onderwerpen waar ik het vaak over heb.

Google Sitemap Test #2

13 uur nadat ik de sitemap voor Real Turkey heb aangemeld is Googlebot al langs gekomen. Nu had ik gister in het artikel natuurlijk geen link naar de site moeten zetten. Nu kan het ook zo zijn dat Googlebot via deze weblog op de site is gekomen. 13 uur lijkt me echter wel zeer snel voor een eerste bezoek. De eerste elf pagina’s zijn in ieder geval al doorlopen, over een tijdspanne van 3 uur. Ik ben benieuwd hoe lang het duurt voordat de gehele website is opgenomen in Google.

Google Sitemap Test

Zojuist is mijn deadline voor het opleveren van Real Turkey verstreken. De website staat dus sinds 5 minuten ‘live’. De pagina is opgebouwd uit XHTML en CSS en is zwaar afhankelijk van mod_rewrite. Om te testen wat voor effect Google Sitemaps heeft op het indexeren van een website heb ik deze sitemap aangemeld bij Google. Daarnaast monitor ik de activiteit van Googlebot op deze website.

Het zal interessant zijn om te zien hoe Googlebot de pagina doorloopt en hoe lang het duurt voordat de eerste pagina’s in Google verschijnen. Misschien is dit een groot succes en pas ik het vaker toe, maar de kans is natuurlijk altijd aanwezig dat het weer ouderwetse tijdverspilling is geweest..

Update

Google heeft in ieder geval binnen 60 minuten de sitemap gedownload.

Google Sitemaps

Google heeft weer een proefballonetje opgelaten. Dit bericht bereikte me gisteravond via Google Blog:

We’re undertaking an experiment called Google Sitemaps
that will either fail miserably, or succeed beyond our wildest dreams,
in making the web better for webmasters and users alike. It’s a beta
“ecosystem” that may help webmasters with two current challenges:
keeping Google informed about all of your new web pages or updates, and
increasing the coverage of your web pages in the Google index.

Initially,
we plan to use the URL information webmasters supply to further improve
the coverage and freshness of our index. Over time that will lead to
our doing an even better job of delivering more search results from
more websites. (Danny Sullivan interviewed me about this if you want to
read more.)

This project doesn’t just pertain to Google, either: we’re releasing it under the Attribution/Share Alike Creative Commons license
so that other search engines can do a better job as well. Eventually we
hope this will be supported natively in webservers (e.g. Apache, Lotus
Notes, IIS). But to get you started, we offer Sitemap Generator, an open source client in Python to compute sitemaps for a few common use cases. Give it a whirl and give us your feedback.

Let op: Het gaat hierbij om een sitemap in een door Google definieerd XML formaat en dus niet om gewone HTML pagina’s. Dit lijkt een erg goede manier om een website in één keer op te nemen in de zoekmachines, zonder dat Googlebot pauzes neemt van enkele dagen.

Na 6 uur (!) was er overigens al code die een dergelijke Sitemap genereert voor Wordpress blogs (via Social Patterns). Ik heb meteen de proef op de som genomen en voila, hier is mijn Google Sitemap.

Toevallig heb ik net een compleet nieuwe website in de pen die vanmiddag live moet gaan, met enkele honderden pagina’s en een vrij diepe link structuur. Dit lijkt mij een mooie gelegenheid om te testen hoe snel een dergelijke website wordt opgenomen in Google als er een XML Sitemap beschikbaar is. Ik zal mijn bevindingen natuurlijk op dit weblog plaatsen!

Update:

Ook voor Movable Type is inmiddels code beschikbaar.

Update 2:

Blijkbaar kun je ook een lijst met URL’s in .txt formaat creëren, met op elke regel een andere URL.