Det är mycket prat om syntetiskt urval. Kommer det att ta över efter mänskliga paneldeltagare? Eller fungera som en förstärkning av panelernas svar? Viktigast av allt, är det data som genereras av tillräckligt hög kvalitet? Eller är det bara en hype?
Låt oss först och främst förstå vad ett syntetiskt urval är. Det är möjligheten att använda generativ AI för att bokstavligen generera svar på frågor i mänsklig stil, baserat på tillgängliga dataset. Istället för enkätsvar, där man frågar en riktig mänsklig paneldeltagare, kan generativ AI (LLM:er som GPT-4) användas som proxy för mänskliga svar från enkäter.
Hypotetiskt sett kan det finnas vissa fördelar för marknadsundersökningar – en viktig sådan är att minska intervjulängden, kanske använda mänskliga paneldeltagare för nyckelfrågor och komplettera med syntetiskt urval för mer generiska attityder eller om det finns ytterligare datakrav.
Men det finns frågor kring datakvalitet när det gäller syntetiska urval. En rigorös studie som gjorts av Kantar där man har genomfört tester sida vid sida av med resultat från syntetiskt urval och mänskliga svar visar på möjligheterna men även utmaningarna. Detta är säkerligen inte den enda studien som har gjorts på området så den aspirerar inte på att ge det definitiva svaret, men belyser några fördelar och utmaningar.
Man fann att:
- GPT-4 verkar vara överdrivet positiv i sina svar jämfört med våra mänskliga respondenter. På den mer praktiska frågan om hur viktigt priset på produkten är ligger GPT-4:s svar närmare de mänskliga svaren. Men på de frågor som kräver lite mer eftertanke (till exempel känslor kopplade till att använda produkten) är avvikelsen mycket större.
- GPT-4 hanterar inte heller nyanseringen av data som delas in i undergrupper särskilt effektivt. Analys av olika målgrupper och undergrupper är en viktig uppgift för marknadsförare och för närvarande är det syntetiska urvalet inte tillräckligt känsligt för denna uppgift och bör inte förlitas på.
- När vi tittar på öppna svar, kvalitativa svar, och jämför mänskliga svar med syntetiskt genererade svar verkar deras ”ordagranna” svar vara ganska lika och inte helt felaktiga. Men när vi upprepar detta experiment 50 gånger för att få mer variation, med en mänsklig expert som manuellt kodar varje svar på en 5-punktsskala, ser vi att GPT-4:s svar går mot det stereotypa och saknade variation eller nyans. GPT-4:s upprepade svar styrs massivt positivt i förhållande till de 50 mänskliga svaren.
Kantar sammanfattar sin studie med att för närvarande har syntetiskt urval ”biases”, saknar variation och nyans i både kvalitativ och kvantitativ analys. Baserat på denna studie är syntetiskt urval nte tillräckligt bra för att användas istället för mänskligt urval. Hypen är stor men syntetiska urval uppfyller inte ännu den datakvalitet som krävs för marknadsundersökningar där tillförlitlig och robust data av hög kvalitet är ett absolut måste.
För att se resultaten från jämförelsen i sin helhet se här: https://www.kantar.com/inspiration/analytics/what-is-synthetic-sample-and-is-it-all-its-cracked-up-to-be
Lyssna på avsnittet genom en AI-genererad podcast:
