Wat een handmatige AI-zoektocht blootlegde over de AIVisiScan-score

Een score voor AI-zichtbaarheid is pas bruikbaar als duidelijk is wat die score wel en niet vertegenwoordigt. Daarom vergeleken we de automatische AIVisiScan-uitkomsten van 22 Rotterdamse restaurantmerken met een afzonderlijke handmatige praktijktest in vijf AI-apps.

Het doel was te onderzoeken in hoeverre een gestandaardiseerde scan aansloot bij wat een gebruiker tijdens een natuurlijke zoektocht naar restaurants te zien kon krijgen. De verwachting was niet dat beide metingen exact gelijk zouden zijn. Wel moest de vergelijking zichtbaar maken of hoge en lage automatische scores in dezelfde richting bewogen als handmatige merkvermeldingen.

De uitkomst was leerzaam, maar niet eenvoudig: op meerdere belangrijke punten liepen de automatische score en de handmatige zoekresultaten juist niet gelijk. Die afwijkingen maakten zichtbaar welke onderdelen van de toenmalige onderzoeksopzet te smal, te toevallig of onvoldoende vergelijkbaar waren.

De onderzoeksvraag

In hoeverre sluit de automatische AIVisiScan-score aan bij de zichtbaarheid van dezelfde restaurantmerken wanneer een gebruiker één natuurlijke zoekvraag stelt in vijf verschillende AI-apps?

Daaruit volgden drie deelvragen:

1. Worden hoog scorende merken ook vaak genoemd in de handmatige test?
2. Worden laag scorende merken inderdaad weinig genoemd, of zijn er duidelijke uitzonderingen?
3. Welke verschillen in vragen, modellen, zoekbronnen en steekproefomvang kunnen afwijkingen verklaren?

Onderzoeksopzet

In juli 2026 waren 22 restaurantmerken in de categorie sushirestaurant en de regio Rotterdam met de toenmalige versie van AIVisiScan onderzocht. Voor ieder merk was een automatische score beschikbaar. Die score kwam uit de vaste scanopzet van dat moment en was gebaseerd op antwoorden die binnen de eigen merkscan waren verzameld.

Daarnaast werd in de consumenteninterfaces van ChatGPT, Claude, Gemini, Grok en DeepSeek exact dezelfde natuurlijke vraag gesteld: “Waar kan ik goed sushi eten in Rotterdam?” Per app werd vastgelegd welke van de 22 onderzochte merken in het antwoord voorkwamen.

De handmatige vermeldingen vormden een afzonderlijke benchmark. Ze zijn nooit als punten aan de automatische score toegevoegd en hebben bestaande scores niet rechtstreeks gewijzigd. Dat onderscheid is belangrijk: de vergelijking was een validatie van de onderzoeksopzet, geen extra scoreonderdeel.

Twee uitkomsten die niet dezelfde richting volgden

De duidelijkste afwijking betrof Kyatcha en Sumo:

Deze twee voorbeelden bewijzen niet dat de volledige ranglijst omgekeerd was. Ze tonen wel dat de automatische score in deze onderzoeksversie geen betrouwbare één-op-één voorspelling vormde van de uitkomst van één handmatige consumentenvraag in vijf apps.

De eigen scan bleek een smalle steekproef

Een tweede analyse keek niet alleen naar de antwoorden binnen de eigen scan van een merk, maar naar alle 88 ChatGPT-antwoorden uit de 22 restaurantscans samen. Daardoor werd zichtbaar hoe gevoelig een score kon zijn voor de beperkte selectie antwoorden die toevallig in de eigen scan terechtkwam.

• Kyatcha werd in die 88 antwoorden 18 keer door ChatGPT genoemd, maar 0 keer in de vier ChatGPT-antwoorden van de eigen scan.
• Itami werd in het totaal 20 keer genoemd, maar eveneens 0 keer in de eigen scan en kreeg destijds een score van 8/100.
• Sumo werd 47 keer genoemd en had met 70/100 ook de hoogste automatische score binnen deze dataset.

Het voorbeeld van Sumo laat zien dat automatische en bredere zichtbaarheid soms wel dezelfde richting konden volgen. Kyatcha en Itami tonen echter dat een beperkte merkspecifieke steekproef een zichtbaar merk toch kon missen. De data ondersteunde daarom geen algemene conclusie dat score en handmatige zichtbaarheid gelijk liepen.

De vraagstelling veranderde de uitkomst

De toenmalige automatische scan gebruikte formele prompts met zware instructies om geen onbevestigde namen te noemen. In een aanvullende vergelijking leverde een formele prompt bij ChatGPT vooral een zeer voorzichtige lijst op. De natuurlijke vraag “Waar kan ik goed sushi eten in Rotterdam?” noemde juist drie merken uit de onderzochte groep: Sumo, Shiki Sushi en Nori.

Gemini noemde bij die natuurlijke vraag Sumo, Shabu Shabu en Kyatcha. Grok en DeepSeek leverden in dezelfde test minder betrouwbare uitkomsten, waaronder namen die niet als bestaand restaurant konden worden bevestigd. Een groter aantal genoemde merken is dus niet automatisch een betere meting: dekking en feitelijke betrouwbaarheid moeten naast elkaar worden beoordeeld.

Waarom de twee metingen niet één op één vergelijkbaar waren

De vergelijking bevatte meerdere methodologische verschillen:

• Andere vraagstijl: de handmatige test gebruikte één natuurlijke consumentenvraag; de automatische scan werkte met meerdere gestandaardiseerde vragen.
• Andere modelmix: de toenmalige automatische scan en de vijf handmatige apps gebruikten niet dezelfde combinatie van modellen.
• Andere zoekbronnen: consumentenapps konden eigen zoek- en kaartbronnen gebruiken, terwijl de automatische route andere of geen zoekgronding gebruikte.
• Momentopname: AI-antwoorden kunnen per modelversie, sessie, zoekresultaat en herhaling veranderen.
• Categoriegrens: niet ieder onderzocht restaurant positioneerde zich uitsluitend of primair als sushirestaurant.

Daardoor mocht de handmatige benchmark niet als absolute waarheid worden behandeld. Hij was vooral waardevol als externe praktijktest die liet zien waar de gestandaardiseerde scan andere uitkomsten gaf dan een herkenbare gebruikerssituatie.

Wat dit onderzoek wel en niet bewijst

Wat aantoonbaar was

• In de onderzochte dataset kwamen duidelijke afwijkingen voor tussen automatische scores en handmatige vermeldingen.
• Een merk kon buiten de eigen scan regelmatig worden genoemd en toch in de eigen scan geen spontane vermelding krijgen.
• Vraagformulering, modelkeuze en beschikbare zoekbronnen hadden zichtbaar invloed op de antwoorden.
• Een afzonderlijke praktijktest bracht beperkingen aan het licht die uit de score alleen niet zichtbaar werden.

Wat niet is bewezen

• Dat iedere automatische AIVisiScan-score onjuist was.
• Dat de vijf consumentenapps samen een objectieve ranglijst van restaurants vormden.
• Dat één handmatige vraag voldoende is om algemene merkzichtbaarheid vast te stellen.
• Dat dezelfde uitkomsten op een later moment, met andere accounts of modelversies opnieuw zouden verschijnen.
• Dat technische websitekwaliteit geen toekomstige invloed op vindbaarheid of bronbegrip kan hebben.

Wat AIVisiScan hiervan heeft geleerd

De studie werd geen bewijs dat de score “klopte”, maar een instrument om de methode te verbeteren. De belangrijkste gevolgen waren:

1. De score wordt uitgelegd als een vaste, versieerbare interne vergelijkingsmaatstaf en niet als exacte voorspelling van consumentenapps.
2. Spontane vermeldingen en rangposities worden inmiddels deterministisch uit de opgeslagen blinde antwoorden afgeleid, zodat dezelfde brondata steeds tot dezelfde meetuitkomst leidt.
3. De huidige blinde onderzoeksfase gebruikt ChatGPT, Claude en Gemini, in plaats van de smallere modelopzet uit deze historische studie.
4. Technische GEO-gereedheid wordt afzonderlijk gerapporteerd en niet gelijkgesteld aan actuele merkzichtbaarheid.
5. Merkherkenning na naamvermelding en feitelijke betrouwbaarheid worden naast spontane zichtbaarheid getoond, zonder ze ongemerkt in één score samen te voegen.

Deze wijzigingen maken de huidige methode niet tot een perfecte kopie van iedere AI-app. Ze maken wel duidelijker welke waarnemingen de score samenvat, waar onzekerheid zit en waarom een externe praktijktest nodig blijft.

Praktische les

Een zichtbaarheidsscore moet niet alleen intern logisch zijn. Test hem ook tegen herkenbare praktijksituaties en publiceer afwijkingen, niet alleen bevestigingen. Wanneer een handmatige controle een andere richting laat zien, is dat geen reden om de afwijking weg te middelen. Het is een signaal om de steekproef, prompts, modellen, bronmix en betekenis van de score opnieuw te onderzoeken.

De kernles is daarom: een score is een samenvatting van een onderzoeksopzet, geen vervanging van het onderliggende bewijs.

Bronnen en methode

• Automatische scanresultaten van 22 Rotterdamse restaurantmerken uit de historische onderzoeksversie van juli 2026.
• Handmatige benchmark met de vraag “Waar kan ik goed sushi eten in Rotterdam?” in ChatGPT, Claude, Gemini, Grok en DeepSeek.
• Cross-scan analyse van 88 opgeslagen ChatGPT-antwoorden uit dezelfde 22 restaurantscans.
• Aanvullende vergelijking tussen formele en natuurlijke prompts en tussen beschikbare modellen.
• Methodologische review van de validatiestudie, gedocumenteerd op 15 juli 2026.