Što mjerimo
Za svaki poslovni subjekt mjerimo tri stvari:
- Imenovanje. Je li ga AI barem jednom naveo kao preporuku. To je prag, a ne rang: ili je na popisu, ili nije.
- Broj spominjanja. Koliko je puta imenovan kroz sve razgovore, servise i ponavljanja. Taj broj pokazuje koliko je dosljedno prisutan.
- Izvore. Koje stranice AI navodi uz preporuku (službena stranica subjekta, direktoriji, forumi, mediji). Iz njih se vidi odakle AI-u dolaze imena koja preporučuje.
Kako sastavljamo uzorak
Analiza pokriva gotovo sve poslovne subjekte jedne djelatnosti u jednom gradu, a ne samo najpoznatije. Google Maps na jedan upit vraća najviše 60 rezultata, uvijek najrelevantnijih u središtu, pa izostavlja cijele kvartove. Da bismo dobili gotovo potpun popis:
- pretražujemo grad po kvartovima,
- koristimo više naziva za istu djelatnost (primjerice stomatolog, zubar, dentalna ordinacija),
- rezultate spajamo bez ponavljanja.
Ta razlika mijenja nalaz: da mjerimo samo prvih 60 rezultata, udio nevidljivih izgledao bi znatno niže nego što jest, jer bi većina neimenovanih subjekata ispala iz uzorka prije mjerenja.
Scenariji i razgovor u četiri koraka
Ne postavljamo upit kao tražilici („najbolji stomatolog u Zagrebu“), nego kroz razgovor, kao stvarni korisnik. Za svaku djelatnost složimo nekoliko stvarnih scenarija (primjerice roditelj koji za dijete traži termin poslije posla, ili osoba koja gleda cijenu). Svaki razgovor vodimo u četiri koraka:
- situacijsko pitanje,
- „koja je najbolja i zašto“,
- prigovor (cijena, blizina ili jednostavnost),
- izbor jednog imena.
Time oponašamo stvarni tijek odabira, u kojem korisnik postupno sužava izbor. Točne formulacije upita ne objavljujemo kako subjekti ili agencije ne bi umjetno prilagodili stranice baš našem mjerenju; tipovi scenarija i koraci razgovora ostaju isti iz mjerenja u mjerenje.
Ponavljanje i nestabilnost odgovora
Cijelo mjerenje ponovimo tri puta, riječ po riječ, kako bismo provjerili daje li AI svaki put isti odgovor. Najčešće ne daje. Iz toga računamo dvije mjere:
- Nestabilnost po subjektu kroz tri ponavljanja: pokazatelj koliko broj spominjanja skače iz mjerenja u mjerenje (0 znači savršeno stabilno; subjekt s gotovo istim brojem u sva tri ponavljanja nazivamo „sidrom“).
- Razliku među servisima: koliko se popisi dvaju servisa preklapaju (1 znači istovjetne liste, 0 nijedno zajedničko ime).
Napomena. Tri ponavljanja dovoljna su da pokažu nestabilnost, ali su premalen uzorak za precizne udjele po pojedinom subjektu. Brojke zato čitajte kao približnu vrijednost, a ne precizan poredak.
AI servisi koje pratimo
- ChatGPT (OpenAI)
- Gemini (Google)
- Google AI (AI Overviews u Google pretrazi)
Koristimo iste servise koje koriste i krajnji korisnici, u obliku u kojem im oni pristupaju. Koje smo servise uključili u pojedino istraživanje navedeno je u tom istraživanju, jer se dostupnost servisa mijenja u vremenu.
Kako brojimo
Nijedan pojedini odgovor ne nabraja sve subjekte; svaki sadrži tek nekoliko imena. Ukupan broj imenovanih subjekata je zbroj svih različitih imena kroz sve odgovore, servise i ponavljanja. Postupak je:
- jezični model pročita svaki odgovor i izvuče svako spomenuto ime i citirani izvor,
- ta imena spojimo s popisom subjekata iz uzorka i zabilježimo redoslijed,
- konačna brojanja provjeravamo i radimo sami.
Jezični model služi samo za izvlačenje imena iz teksta, nikad za izračun brojki.
Odakle dolaze podatci
Popis poslovnih subjekata sastavljamo iz javno dostupnih izvora (Google Maps preko službenog Places sučelja, službene stranice subjekata, industrijski direktoriji). Popis osvježavamo prije svakog mjerenja. Popis ne filtriramo po vrsti subjekta: ako se subjekt pojavljuje u tim izvorima i neki ga AI servis imenuje, ulazi u mjerenje. To uključuje i javne ustanove (domove zdravlja, bolnice) kad ih AI navede u odgovoru, jer su to javna imena subjekata jednako kao i privatne ordinacije.
Odgovore AI servisa prikupljamo automatiziranim postavljanjem istih pitanja koja bi postavio korisnik. Obrada teksta odgovora odvija se u radnoj memoriji: iz njega izvlačimo imena spomenutih subjekata i popis citiranih izvora, a zatim sam tekst odgovora odbacujemo. Ne čuvamo cjeloviti tekst odgovora niti bilo kakav sadržaj koji bi se mogao povezati s pojedinom osobom.
Podatke o recenzijama (broj i prosjek ocjena) čitamo iz javnih profila na Google Mapsu. Ne prikupljamo privatne podatke, kontakt podatke korisnika niti sadržaj komunikacije između subjekata i njihovih klijenata.
Anonimizacija i privatnost
Subjekte imenujemo isključivo kao poslovne subjekte (tvrtke, poliklinike, ordinacije, teretane). Naziv koji je osobno ime pojedinca (tipično samostalni obrt, „ordinacija dr. X“) ne imenujemo pojedinačno, nego ga vodimo zbrojeno u skupini „Ostali“, jer bi imenovanje značilo objaviti podatak o privatnoj osobi. Ta skupina zna činiti znatan udio preporuka i o njoj govorimo kao o kategoriji.
Agregirane statistike po kvartu ili užoj kategoriji objavljujemo samo kad obuhvaćaju najmanje pet subjekata, čime se onemogućuje povratno identificiranje pojedinca. Imenovanje pojedinog subjekta uz pozitivan kontekst moguće je samo uz njegov pisani pristanak, koji je uvijek opoziv.
Pravna osnova obrade
Podatke o poslovnim subjektima obrađujemo na temelju legitimnog interesa (Članak 6, stavak 1, točka (f) GDPR), u okviru istraživanja javnog interesa o stanju AI tržišta u Hrvatskoj. Detalji su na stranicama Privatnost i Procjena legitimnog interesa.
Ograničenja
Napomena. AI vidljivost ne odražava nužno kvalitetu poslovanja. Mjerimo koliko često AI servis imenuje neki subjekt, ne vještinu, iskustvo ni zadovoljstvo korisnika. Subjekt koji AI nikad ne spomene može biti izvrstan i preporučivan usmenom predajom.
Ostala ograničenja:
- Rezultati vrijede za datum mjerenja. AI servisi se redovito ažuriraju, pa isti upit u različitim trenucima može dati različite odgovore. Naši rezultati opisuju stanje u trenutku mjerenja, ne projekciju budućih ishoda.
- Vidljivost nije poslovni rezultat. Ne tvrdimo da veći broj spominjanja znači više klijenata ili veći prihod; mjerimo što AI preporučuje, ne što korisnik s time učini.
- Ovisi o javnim izvorima. Subjekt može izostati iz popisa ako nije prisutan u korištenim javnim izvorima. Ispravke su moguće putem obrasca za ispravak podataka.
Kako poboljšati AI vidljivost
Iz naših mjerenja slijedi nekoliko općih smjernica za vlasnike (konkretne se razlikuju po djelatnosti i navedene su u pojedinačnim istraživanjima):
- Budite prisutni tamo gdje AI nalazi izvore. Uz vlastitu stranicu, to su često strukovni imenici i portali za konkretnu djelatnost.
- Provjerite pojavljujete li se na više servisa. Prisutnost na jednom servisu ne znači prisutnost na drugome, pa vrijedi pratiti sve.
- Pratite vidljivost kroz vrijeme. Popisi se mijenjaju iz mjerenja u mjerenje; jedno pojavljivanje nije pouzdan pokazatelj.
Promjene metodologije
Kad promijenimo način mjerenja (drugi servis, drukčiji skup persona, nova djelatnost), navodimo to u samom istraživanju. Ranija istraživanja ostaju dostupna kao arhiva, s vlastitim opisom onoga što je u njima bilo specifično.