Nyligen publicerade Dagens Media en undersökning om vilka modemärken det bloggades om. Denna utfördes av Aitellu. Igen sätts trovärdigheten på prov vad avser mätning av sociala medier. Detta har både Ted Valentin i posten “Dagens Media och ordproblematiken” och Tailsweep i posten “Unik bloggundersökning’ med tveksam datakvalitet” uppmärksammat.

Jag har tidigare skrivit om trovärdighetsproblemet inom social media bevakning tidigare i inlägget “Ett problem med att mäta seriöst“. Även posten om trovärdigheten i mätning av olika media kanaler (tv, radio, tidningar, internet etc) är interessant som bakgrund.

Först och främst finner jag att det är ytterst otroligt att datan stämmer. Det ur flera perspektiv.

1. Att indexera endast ett antal förbestämda bloggar ger inte korrekt resultat
2. Söktermerna verkar vara ytterst skumt uppsatta med tanke på utfallet
3. Sentiment är alldeles för otillförlitligt för att utan underbyggd data förtjäna en plats i en statistisk undersökning.

Metodproblem

Det kanske mest intressanta är att metoden som fortfarande används är “antal inlägg”. Givetvis ger det en indikation på något sätt, men det symboliserar också att ingen hänsyn till medietypens underliggande värdegrund är tagen. Det mest intressanta är ofta inte hur mycket det skrivits, utan hur mycket engagemang respektive inlägg skapat. Ett riktigt bra inlägg kan troligt skapa mer värde är 50 inlägg som bara nämner Acne eller Odd Molly i förbifarten.

Idag har vi möjlighet på många olika sätt att ta reda på detta. Det Dagens Media och Aitellu väljer att komplettera med för att lägga en till dimension är en artificiell algoritm för att räkna ut om respektive inlägg är positivt, neutralt eller negativt. Detta är riktigt synd då jag (och jag har kollat många) inte sett någon AI som klarat av detta på ett i närheten av tillfredställande sätt idag. Vi kräver att den data vi får är baserad på data och inte på hokus pokus. Detta är givetvis en marknad under utveckling och mycket kommer att hända. Har t.ex sett delar av vad Saplo håller på med och det är klart intressant. Denna punkt är en ytterst stor påverkare av att hela området social media bevakning / monitorering har ett förtroendeproblem. Det är lite som att “put lipstick on a pig”

Metod för att mäta social media

Har senaste månaderna jobbat mycket med företag inom medieanalys och bekantat mig med termen “metod”. Det krävs att även denna kanal förankrar en “metod” för hur mätning skall gå till på ett trovärdigt sätt.

Hur en metod kan se ut för just social media förtjänar en helt egen post och jag skall försöka få ut den idag eller imorgon. Håll ögonen öppna, så att dialogen runt metod för social media kan ta fart på riktigt.

Internet är dynamiskt

Vi skall även vara ödmjuka för hur internet fungerar och hur insamling och bevakning påverkas av det. Det är ingen enkel uppgift att fånga ALLT som skrivs för att kunna analysera det. Dessutom används många olika metoder (t.ex anv Silverbakk flertalet olika metoder för att få in all data om t.ex en bloggpost) och de ter sig lite olika i utförandet. Det kommer garanterat att vara skillnader i resultat om man jämför 10 bevakningar från olika lösnignar, men skillnaderna måste ligga inom någon form av felmarginal för att vara trovärdiga. Insamlingen skall inte vara differentiatorn, utan vad man gör med det man samlar in.