Finti follower e finti tonti 3: shooting the messenger
La piccola ricerca di Marco sui finti follower (ne abbiamo parlato qui) sta riscuotendo molto interesse in giro per il mondo.
Io dico, sarebbe una bella vetrina per far vedere che in Italia il pensiero sui social media è più critico, articolato, analitico che nel resto del mondo. Insomma, per dire che se chiedono a noi, magari qualcosa di meno beota di Facebook lo si può anche fare.
Invece, la stiamo buttando in caciara, discutendo se e quanto il lavoro sia abbastanza “scientifico”:
- dotcoma suggersice che ogni sospetto bot andrebbe verificato come tale
- Andrea Di Maio dice che i criteri sono opinabili e il campione non significativo
- Roberto Dadda spazza il campo con due dotte disquisizioni sul metodo scientifico.
Tutto in astratto impeccabile. Ma, secondo me, tutto fuori luogo.
Nel mondo reale ricerche di mercato (perché di questo in fondo si tratta):
- non è possibile verificare che ogni potenziale bot-follower sia in effetti tale
- in questo tipo di ricerca ogni criterio è opinabile e ogni campione non significativo.
Non solo la ricerca di Camisani, ma tutte le cosiddette scienze umane (per le quali ho poca simpatia metodologica, sia chiaro) non sopravviverebbero ai tre criteri qui sopra. Per il semplice fatto che il metodo scientifico non è direttamente applicabile a cose che scientifiche non sono.
Facciamo un po’ di chiarezza su alcuni fatti finora inconfutati:
- la compravendita di bot-follower esiste
- chiunque operi nel settore lo sa
- la ricerca di Camisani dice: “SE adotto questi criteri, ALLORA questi sono i risultati”
Aggiungiamo che parlando di 1) e 2) Camisani ha ottenuto più visibilità di chiunque altro; un po’ di invidia professionale è quindi comprensibile (di sicuro vorrei essere io nei suoi panni, visto che sostengo tesi anche più estreme) ma non giustificabile come strumento
A questo punto, le sole cose di cui mi interessa davvero discutere sono:
- i criteri di Camisani sono validi? (Si, Di Maio, è più plausibile che un umano usi uno smartphone e un bot usi un PC)
- quali altri criteri dovremmo adottare?
- interessa a qualcuno pensare a un sistema di validazione del seguito social? (ehi, Nielsen, ci senti?)
- le aziende vogliono parlare di Internet ROI o si accontentano dei numeri forniti dal marketing (che sarebbe parte in causa)?
Tutto qui, tutto molto semplice, tutto già visto:
- non ti fai molti amici scoprendo gli altarini delle agenzie
- le aziende preferiscono sentirsi dire quel che vogliono sentirsi dire anziché i fatti.
Lo so per esperienza, visto che da vent’anni predico Web Usability e Internet ROI.
Ho risposto alle tue osservazioni nel mio blog. Ma visto che discetti sulla natura e qualitá dell’altrui ricerca (ma non su quella di MCC), potrebbe essere utile almeno riprodurre il mio nome (che è Andrea e non Antonio) correttamente
Ho giá rispoto al tuo commento sul mio blog. Volevo solo far notare che da chi discetta di qualitá dell’altrui ricerca mi aspettarei almeno l’uso corretto dei nomi di battesimo: il mio è Andrea e non Antonio
Ciao Andrea,
scusa per l’errore, è una cosa veramente sgradevole. Purtroppo ho seri problemi con nomi e facce.
Però, da chi discetta di qualità dell’altrui ricerca mi aspetterei almeno la digitazione corretta dell’URL del proprio blog, che non è andrea_dimIo
No problemo, te l’ho corretta gratis.
Vengo doverosamente a leggere la tua replica.
Grazie,
W
Ho chiesto a Matteo e a Marco i dati per fare qualche altra analisi sia sul mio account che sui dati più generali in modo da capire se effettivamente il metodo usato sia effettivamente valido. Invece che chiederci “riusciamo a trovare tutti gli account fasulli?” ho cambiato la domanda iniziale “quanti sono gli account attivi che mi seguono?” http://www.pierotaglia.net/unanalisi-dei-miei-follower-su-twitter/ Magari può essere un contributo su questo tema
(spero)
Ciao Pietro,
mi sembra un’ottima idea. Io abbandonerei comunque l’idea di trovare “tutti” i fasulli, non finiamo più. Corro a leggerti.
Grazie,
W
Ciao Walter, dici:
>3. la ricerca di Camisani dice: “SE adotto questi criteri, ALLORA questi sono i risultati”.
Benissimo. E se invece adotto un altro criterio, ottengo altri risultati. E se adotto un terzo criterio, risultati ancora diversi. Mille criteri diversi, mille risultati diversi. E quale è quello giusto o almeno meno sbagliato, più affidabile? Non si sa. Quindi, siamo al punto di prima.
Ovvero che:
>1. la compravendita di bot-follower esiste
>2. chiunque operi nel settore lo sa
Entrambe cose vere. Però non abbiamo fatto neanche un singolo passo in avanti, imho.
ciao Massimo,
sono pienamente d’accordo con la prima parte del tuo ragionamento: mille criteri, mille risultati.
E’ così per qualsiasi ricerca di mercato e per quasi tutto quello che si fa nelle “scienze umane”, dove la parte cruciale della verifica sperimentale è quasi sempre impossibile.
Non credo che siamo al punto di prima, o non ci sarebbe stato tanto bailamme. Credo, per esempio, che si possano prendere i dati grezzi di MCC, cambiare tre o quattro scelte di criteri e vedere se e quanto cambiano i risultati finali, per dire.
Il problema è che sollevare questa discussione tocca direttamente gli interessi di molti player, che giustamente non ci stanno a vedersi sparire di mano il loro bel giocattolino. Ma se il marketing deve avere un futuro non può prescindere dal definire misure più pertinenti, verificabili e legate a obiettivi tangibili di business.
Grazie,
W
Walter,
io spero tu stia scherzando quando dici che nessuna verifica è possibile. Se nessuna verifica è possibile, allora qualunque teoria va bene. Vedi tu.
Seconda cosa, vorrei capire – davvero! – cosa vuol dire che puoi “prendere i dati grezzi di MCC, cambiare tre o quattro scelte di criteri e vedere se e quanto cambiano i risultati finali”. E cosa te ne fai, di sta roba? Certo che cambiano i “risultati” a cambiare i criteri. Bella scoperta. E poi?
M.
“Nessuna verifica è possibile”
No dai non diciamole queste cose, ecco la soluzione del dilemma:
1) andare da Hoeply, via Ulrico Hoeply Milano
2) terzo piano, secondo scaffale sulla destra della scala “Statistica”
3) Scegliere a caso un qualsiasi libro che abbia nel titolo parole come sociologia, econometria…
4) studiarlo
5) Farsene una ragione: le verifiche sono eccome possibili, certo non daranno risultati matematicamente perfetti, ma sapremo anche valutare il margine di errore.
Andando via da Hoeply per favore salutatemi il gentilissimo Signor Barlassina che mi vende libri da anni e che da qualche tempo quando vado, cerco un libro, metto l’isbn nel kindle e lo scarico ha un’ara triste!
bob
Caro Roberto,
Hoepli, quanti ricordi! (anche se non conosco il Barlassina).
Il punto è che nascondersi dietro i numeri è facile. Ammettere che non è il caso di tirarli in ballo, un po’ meno (ti rimando volentieri a Taleb per proseguire il discorso).
Qui, come ho detto anche a Massimo, il punto non è validare l’algoritmo. Lo possiamo fare ogni volta, e dieci minuti dopo i conti con il mondo (e i bot) non tornano più.
Il punto è: i criteri sono ragionevoli? Sì? Allora 20% o 46% non importa. Importa che le imprese capiscano cosa vogliono ottenere dai follower. Se è engagement, sono le imprese a dover “validare” un follower assicurandosi che faccia qualcosa di più che ricevere aggiornamenti.
Se invece gli vanno bene anche i “lurker”, benissimo. Problemi zero. Ma a questo punto aggiungiamo la parola “follower” e compagnia al Bullshit Bingo (aka Tombola delle Stronzate).
Il che va poi fatto comunque. Le counting metrics, di per sé, sono aria fritta da sempre.
Ora provo a dire le stesse cose in un post.
Grazie,
W
Quelli che chiami i “risultati finali” che cambierebbero a cambiare i criteri e che in realtà non sono “risultati” ma solo “ipotesi” vanno confrontati, per quanto possibile, coi DATI REALI (su un campione, ad esempio), per capire se e quale delle due (o n) teorie descrive bene (o meglio delle altre, almeno) la realtà.
Altrimenti, Marco ha una teoria-ipotesi, io ne ho un’altra, tu ne hai una terza, Roberto una quarta, nessuno le mette alla prova dei fatti (descrivono bene la realtà o no?) e “vince” la teoria di quello che urla più forte, o che riesce a farsi pubblicare su più giornali (da parte di giornalisti sciapi assai, imho).
ciao Massimo,
vedo di spiegarmi meglio.
Primo: la verifica.
Fissiamo i criteri, otteniamo i risultati, verifichiamo che i falsi positivi e i falsi negativi uno a uno.
Si può fare? Sì.
E dieci minuti dopo, è tutto da rifare, perché i bot vengono riprogrammati. A meno di essere pagati per scrivere articoli di ricerca, non andiamo da nessuna parte.
In questo contesto, come ho già detto, non è così importante “scovare” i bot. E’ importante far capire alle aziende come stanno spendendo i loro propri soldi. Dal punto di vista di un’azienda cliente, un bot o un utente umano inattivo sono equivalenti: in entrambi i casi non valgono la spesa.
Secondo: “prendere i dati, cambiare i criteri, vedere cosa succede”. Altrove si chiama pomposamente Business Intelligence. Non è niente di così intelligente, ma può servire a farsi venire delle idee.
Grazie,
W
In realtà non stiamo sparando sul messaggero perché non ci piace il messaggio, stiamo sparando sul messaggero perché il messaggio se lo è inventato! http://robertodadda.blogspot.com/2012/06/marco-camisani-calzolari-segnala-un.html
Salve Dadda, grazie della visita.
Se il messaggero si fosse inventato il messaggio allora Camisani sarebbe colpevole di diffamazione. Non mi pare che nessuno dei brand coinvolti gliela stia contestando.
Inoltre, non è proprio vero che il messaggio è inventato: che la compravendita di bot esista nessuno lo nega (certo, la fanno sempre “gli altri”, ma è un altro par di maniche).
Quindi restiamo sui numeri.
Ci servono tre cose:
un consenso su quali criteri usare
una valutazione di affidabilità del test (ossia che il test misura ciò che misura in modo consistente)
e una valutazione di affidabilità (ossia che misura davvero quel che dice di misurare)
Le prime due cose sono fattibili. La terza è un test di Turing bello e buono. Quindi tempo perso.
E che facciamo allora? Facciamo che ci teniamo i numeri discutendo se i criteri con cui li abbiamo ottenuti sono ragionevoli ma senza la certezza che dicano tutta la verità.
Follia? Un mercato da miliardi di dollari si basa da anni su un “algoritmo” di valutazione (il PageRank di Google) sulla cui validità nessuno può dire nulla. La mia pagina è prima della tua. Poi arriva Penguin e senza che le abbiamo modificate finisce dopo. Quale valutazione è quella giusta?
Quindi vede, non porta a niente arrovellarci sulla teoria della misura, soprattutto perché qui non è importante misurare, ma migliorare le pratiche di marketing e il modo in cui le aziende ne valutano l’efficacia.
Grazie,
W
Walter seguivo la tua metafora, che il fenomeno esista lo sanno anche i bambini e sono stati pubblicati sull’argomento lavori scientifici molto dettagliati, tutti propongono una valutazione della attendibilità del metodo usato e nessuno arriva agli eclatanti risultati che propone Marco.
Sono lavori pubblicati davvero, su riviste vere e prestigiose, sarebbe bello che anche Marco mandasse questo lavoro a una rivista vera: io ho fatto per anni il referee e ti assicuro che su una rivista un lavoro del genere non avrebbe nessuna probabilità di essere pubblicato in quanto mancante della minima valutazione della affidabilità del metodo di misura.
Il problema è che marco non è che sbaglia il metodo, non possiamo dire che non sia corretto, marco non ci prova nemmeno: mette dei parametri, lancia il tutto, prende i risultati e li da per buoni commentandoli, la massima espressione della statistica che quel lavoro contiene è la percentuale il che in una misura con molte variabili è un poco naive!
In realtà un modo classico di misure di questo genere prevede cose molto più semplici delle tre che tu enumeri (io faccio fatica a capire la differenza tra la seconda e la terza francamente), le trovi su qualsiasi libro di Teoria e pratica delle misure alla voce “Misure indirette”.
Tu ti inventi un algoritmo, qualsiasi, lo usi e poi cerchi una strada per essere sicuro che stia in qualche modo misurando quello che tu pensi di voler misurare, in questo caso non serve qui perché è abbastanza ovvio che la cosa potrebbe funzionare.
A questo punto, ed è quello che Marco nemmeno ha provato a fare, devi validarlo il che vuol dire che devi in qualche modo trovare situazioni nelle quali sia prevedibile il valore finale e lanciare l’algoritmo su quelle. Per esempio, ed è una cosa che hanno fatto in tanti, crei degli account twitter fasulli, li solleciti pubblicando e ripubblicando una famiglia di frasi scelte tra un gruppo predefinito e misuri quanti bot secondo te li stanno seguendo sapendo che nessuno ha certamente pagato per averli, si chiama prova in bianco.
Un altro problema qui è la demografia del campione: guardando l’algoritmo si vede che tende a considerare bot gli utenti meno evoluti. E’ molto probabile che Ikea ne abbia molti più di Cisco e che io tenda a sovrastimare i bot di Ikea. Bene prendo due gruppi di siti demograficamente omogenei, lancio il sistema di misura e vedo cosa viene fuori.
Sono solo due idee banalissime da caffè del mattino davanti a una vista bellissima di Zagabria che mi distrae, si possono pensare mille modi, ma non fare NULLA del genere non ha senso, i numeri che vengono fuori non hanno NESSUN valore scientifico.
Cosa facciamo?
Facciamo quello che sta facendo da tempo il mondo scientifico che Marco sembra non seguire: continuiamo ad affinare le misure e le valutazioni tenendo presente che ahimè non tutto è misurabile e potrebbe venire fuori che andare oltre una certa affidabilità non è possibile.
Certo così il progredire è lento e non vai sui quotidiani, ma non credo sia questo il fine della ricerca scientifica francamente.
Il fatto che per sostenere la validità di un lavoro del genere vengano usate considerazioni del tipo “Ne ha parlato FT” e “Se il messaggero si fosse inventato il messaggio allora Camisani sarebbe colpevole di diffamazione. Non mi pare che nessuno dei brand coinvolti gliela stia contestando.” non fa parte dei bagagli della scienza e nemmeno di quelli della logica e credo la dica lunga sul valore di quel lavoro.
m2c
roberto
PS Resta da capire perché mai tu dica che si tratta di un test di Turing. Il test di turing prevede la sollecitazione con domande, qui cerrto il bot non risponderà a domande del tipo “Quando hai mangiato il risotto l’ultima volta”. Walter hai mai partecipato a un test del genere?
Solo un piccolissimo contributo, ma sfogliando repubblica.it mi sono imbattuto in un articolo che citava questo:
http://www.social-trends.it
Mi sembra un buon corollario a tutto il discorso
M
ciao Marcello, visto.
Sono rimasto un po’ basito. Il sito è carino, tutto interattivo e quanto. Ma dal CNR mi sarei aspettato qualcosa di più di una interfaccia che ratifica criteri pesantemente discutibili (e discussi, a giudicare da questo thread).
Tornerò a dargli un’occhiata, comunque.
Grazie,
W