Zowel in de titel, beschrijving en url komen de trefwoorden ‘nieuwe’ en ‘pagina’ niet voor. Waarom Google dus op de eerste positie staat? Het is mij een raadsel.

Hoe ik er bij kom om op ‘nieuwe pagina’ te zoeken? In mijn statistieken pakket kwam ik een referentie tegen van Google waarbij iemand op ‘nieuwe pagina’ zocht en dit artikel tegenkwam.

Update

Dit komt net bij mij op en het zou de vreemde resultaten kunnen verklaren. Google is onlangs met een gepersonaliseerde pagina gekomen. En dat is een nieuwe dienst van Google. Als er nu heel veel websites zijn die het bijbehorende persbericht hebben opgepikt en daarbij een link naar Google hebben geplaatst, dan zou dit een verklaring kunnen zijn waarom Google op nummer één staat bij de gebruikte zoektermen.

Dit verklaart echter niet waarom de beschrijving van de pagina wel voorkomt in de zoekresultaten en niet in de broncode van de pagina zelf.

Het mag duidelijk zijn dat het aanmelden van een XML sitemap bij Google geen noemenswaardige voordelen heeft. Wellicht dat het in de toekomst gaat veranderen, het is tenslotte ook van Google’s kant een experiment, maar voorlopig kan men net zo goed op de oude manier URL’s toevoegen aan Google.

Het zal interessant zijn om te zien hoe Googlebot de pagina doorloopt en hoe lang het duurt voordat de eerste pagina’s in Google verschijnen. Misschien is dit een groot succes en pas ik het vaker toe, maar de kans is natuurlijk altijd aanwezig dat het weer ouderwetse tijdverspilling is geweest..

Update

Google heeft in ieder geval binnen 60 minuten de sitemap gedownload.

We’re undertaking an experiment called Google Sitemaps
that will either fail miserably, or succeed beyond our wildest dreams,
in making the web better for webmasters and users alike. It’s a beta
“ecosystem” that may help webmasters with two current challenges:
keeping Google informed about all of your new web pages or updates, and
increasing the coverage of your web pages in the Google index.

Initially,
we plan to use the URL information webmasters supply to further improve
the coverage and freshness of our index. Over time that will lead to
our doing an even better job of delivering more search results from
more websites. (Danny Sullivan interviewed me about this if you want to
read more.)

This project doesn’t just pertain to Google, either: we’re releasing it under the Attribution/Share Alike Creative Commons license
so that other search engines can do a better job as well. Eventually we
hope this will be supported natively in webservers (e.g. Apache, Lotus
Notes, IIS). But to get you started, we offer Sitemap Generator, an open source client in Python to compute sitemaps for a few common use cases. Give it a whirl and give us your feedback.

Let op: Het gaat hierbij om een sitemap in een door Google definieerd XML formaat en dus niet om gewone HTML pagina’s. Dit lijkt een erg goede manier om een website in één keer op te nemen in de zoekmachines, zonder dat Googlebot pauzes neemt van enkele dagen.

Na 6 uur (!) was er overigens al code die een dergelijke Sitemap genereert voor Wordpress blogs (via Social Patterns). Ik heb meteen de proef op de som genomen en voila, hier is mijn Google Sitemap.

Toevallig heb ik net een compleet nieuwe website in de pen die vanmiddag live moet gaan, met enkele honderden pagina’s en een vrij diepe link structuur. Dit lijkt mij een mooie gelegenheid om te testen hoe snel een dergelijke website wordt opgenomen in Google als er een XML Sitemap beschikbaar is. Ik zal mijn bevindingen natuurlijk op dit weblog plaatsen!

Update:

Ook voor Movable Type is inmiddels code beschikbaar.

Update 2:

Blijkbaar kun je ook een lijst met URL’s in .txt formaat creëren, met op elke regel een andere URL.

Schijnbaar ging er ergens in het ranking systeem van Google een belletje rinkelen dat het aantal links naar de betreffende website niet kon kloppen. Er zijn natuurlijk meerdere mensen die dit zijn tegengekomen, vooral professionele zoekmachineoptimalisators. Er is zelfs al een term voor bedacht: de ‘Sandbox‘. Dit gedeelte van Google’s algoritme zorgt er voor dat linkspammers minder baat hebben bij commentspam, maar kan er dus ook voor zorgen dat je 6 maanden lang niet naar boven of naar beneden beweegt in Google’s index.

Archer geeft enkele tips die je uit de Sandbox kunnen houden:

• Zorg er voor dat je zo snel mogelijk een domeinnaam registreert met enige relevante content
• Zorg er voor dat er regelmatig inkomende links bijkomen, zonder echt grote ‘pieken’
• Richt je eerst op het verkrijgen van links in grotere, bekende websites, in plaats van veel links van kleinere websites
• Zorg er voor dat je niet afhankelijk wordt van één zoekmachine. Een zoekmachine is namelijk zo veranderlijk als het weer. Hou er bij het opzetten van je strategie rekening mee dat je ook zonder zoekmachines klanten moet kunnen krijgen.

Een medewerker van Google zei hier al eens het volgende over:

“The PageRank that is displayed in the Google Toolbar is for
entertainment purposes only. Due to repeated attempts by hackers to
access this data, Google updates the PageRank data very infrequently
because is it not secure. On average, the PR that is displayed in the
Google Toolbar is several months old. If the toolbar is showing a PR of
zero, this is because the user is visiting a new URL that hasn’t been
updated in the last update. The PR that is displayed by the Google
Toolbar is not the same PR that is used to rank the webpage results so
there is no need to be concerned if your PR is displayed as zero. If a
site is showing up in the search results, it doesn’t not have a real PR
of zero, the Toolbar is just out of date”

Update

Blijkbaar ging het alleen om een infrastructuur update.

‘We gebruiken cloaking alleen nog in heel bijzondere gevallen, als het echt niet anders kan. Bijvoorbeeld bij een site van een biermerk waar een leeftijdscontrole opzit. Helaas blijkt het doorvoeren van de aanpassingen bij onze klanten meer tijd te kosten dan was verwacht. Dat heeft erin geresulteerd dat we bij enkele van de meer dan 200 klanten door de tand des tijds zijn ingehaald en dat deze pagina’s voor enkele klanten uit de Google index zijn verwijderd. We betreuren dit incident en hechten er waarde aan nogmaals te benadrukken dat het hier over verouderde zoekmachine pagina’s gaat’.

Leugenaar?

Het is zeer de vraag of Aelen de waarheid spreekt. Checkit heeft namelijk veel meer zaakjes lopen die niet door de beugel kunnen, zoals bijvoorbeeld voor hun klant Orange. Als je in Google zoekt naar ‘mobiel abonnement‘ dan zie je Orange op de 2e plaats staan. Wat hier mis mee is? Wel, deze pagina is gebaseerd op frames, echter Google ziet dat niet. De frames worden met behulp van een Javascript geladen waarbij alle teksten op de pagina opeens onzichtbaar worden en de bezoeker alleen de inhoud van de frames te zien krijgt. Google kan namelijk niet overweg met Javascript, terwijl de browser van de bezoeker dat wel kan. Is dit zoekmachinespam? Jazeker, de bezoeker schiet er namelijk niets mee op, terwijl het 3 of 4 aanbevelingen van Google aan de kant schuift, namelijk:

• Vermijd verborgen teksten en verborgen koppelingen.
• Laat u niet in met cloaking of met stiekeme redirects.
• Stop uw pagina’s niet vol met irrelevante woorden.
• Maak geen “doorway”-pagina’s die alleen maar bedoeld zijn voor zoekmachines.

Hieronder 2 afbeeldingen van de webpagina van Orange mét en zonder Javascript:

Het lijkt mij duidelijk dat dit een zuivere vorm van zoekmachinespam is. Wie geeft Orange aan bij Google?

Ook een zogenaamd betrouwbaar bedrijf als Traffic4u is niet ’schoon’. Voor hun klant Coca Cola maken ze gebruik van verborgen links om websites naar elkaar te laten linken. Op deze manier proberen ze de pagerank van de individuele websites omhoog te krikken.

UPDATE

De uitspraak dat ook Traffic4u niet ’schoon’ is is bij nader inzien onterecht. De website van Coca Cola Enterprises bevat geen technieken die niet door de beugel kunnen en is dus op juiste wijze geoptimaliseerd. De verborgen links op de homepage lijken onderdeel van de template en worden verderop in de website ook daadwerkelijk gebruikt.

Hoewel er veel mensen zijn die weblogs het liefst meteen uit de rankings zien verdwijnen hebben er ook veel mensen voordeel bij. Weblogs bevatten net als gewone websites, encyclopedieën en webwinkel informatie. Mensen die op zoek zijn naar informatie willen daar niet op 2 of meer plekken naar zoeken.

Ook voor Google zelf zou het niet handig zijn om de weblogs te ‘negeren’. Hun eigen Blogger.com bevat miljoenen pagina’s met daarop de voor Google belangrijke Adsense advertenties. Als Google deze pagina’s uit de normale zoekdienst weert dan gaat dat ten koste van het aantal bezoekers aan deze weblogs en dus ook ten koste van de daaraan gekoppelde inkomsten.

Update
Google Blog Search is er inmiddels al een tijdje, maar van het weren van weblogpagina’s uit de gewone index is gelukkig nog steeds geen sprake.