Il Sole 24 Ore, 31 luglio 2019
Cyber sicurezza, il rischio dell’algoritmo
QQ8
Weak Ai, ovvero quei particolari software che sono in grado di svolgere un singolo compito con un livello di abilità, velocità ed efficienza molto elevato. I sistemi di trading automatizzati sono un esempio o gli assistenti vocali come Siri.
L’evoluzione più prevedibile di questo tipo di intelligenze artificiali sarà da un lato quello di affrancare l’uomo da compiti complessi ma ripetitivi e con output standard e prevedibili; dall’altro supportarlo nel lavoro di supervisione fornendogli la conoscenza derivante dall’elaborazione di grandi masse di dati. Questo ruolo renderà le Weak Ai pervasive tanto quanto lo sono oggi i software per l’elaborazione testuale o i fogli di calcolo. Auto a guida autonoma, sistemi semaforici e di controllo del traffico, sistemi di supporto alla gestione della distribuzione di energia, acqua. Insomma, ovunque ci saranno grandi masse di informazioni da gestire l’uomo sarà affiancato o addirittura sostituito. In questo futuro molti vedono pericoli a partire dall’impossibilità di una Weak Ai di affrontare l’imprevisto fino all’elevata probabilità di un banale guasto, ma un “passo indietro” sembra da escludere, con la conseguenza che si va verso nuove e complesse problematiche di sicurezza, questa volta molto cyber.
Da qualche anno abbiamo le prime avvisaglie dei rischi: un caso interessante risale al 2013, quando Eric Loomis è condannato da una corte statunitense a sei anni di reclusione e cinque di libertà vigilata per non essersi fermato a un blocco stradale mentre era alla guida di un’auto non di proprietà. Nella sentenza si legge che si trattava di un individuo ad alto rischio per la comunità sulla base delle valutazioni di Compas. Ma chi è Compas? È un algoritmo intelligente che sulla base di Big data valuta la possibilità di recidiva di un imputato. I ricorsi della difesa non cambiarono la sentenza, ma alcuni anni dopo varie ricerche dimostrarono che il software era affetto da bias ovvero discriminava determinati soggetti a favore di altri (nel caso si dimostrò l’esistenza di un numero più elevato di “falsi positivi” di colore e di “falsi negativi” di razza bianca).
Il caso deve fare riflettere su un tema centrale: l’addestramento delle Weak Ai. Avviene su grandi basi di dati, e questo pone due questioni. Considerando che si deve trattare di una campione sufficientemente vasto (se per esempio parliamo di riconoscimento facciale si dovrebbe trattare di milioni di immagini) sarà possibile una selezione fatta dagli uomini? Se poi fosse possibile, chi sceglierà le informazioni riuscirà a essere tanto equilibrato e scevro da preconcetti da non produrre un campione “di parte”?
Se queste sono due incognite è invece una certezza, che qualcuno ha già dimostrato, la possibilità di compromettere deliberatamente le capacità di una Weak Ai. Tecnicamente si parla di Adversarial attacksquando l’algoritmo viene fuorviato introducendo nel suo dataset esempi modificati con alterazioni anche impercettibili all’occhio umano, ma che portano l’algoritmo a sviluppare bias difficili da indentificare, e che producono effetti deleteri. Inoltre immagini disturbate potrebbero ugualmente ingannare l’algoritmo. Così, nel 2014, un gruppo di ricercatori di Google e della New York University riuscirono a ingannare un algoritmo per il riconoscimento delle immagini inserendo disturbi nella fotografia di un panda che il sistema riconobbe come un gibbone con il 99,3% di probabilità. Questo tema riguarda anche gli assistenti vocali come Siri o Alexa che potrebbero essere vittime di Skill squatting. Si tratta di sfruttare le debolezze del riconoscimento vocale e delle applicazione che a fronte del comando impartito a voce vengono richiamate. Parole con una pronuncia simile potrebbero non essere correttamente riconosciute: così l’ordine «paga con la Mastercard» potrebbe essere interpretato con «paga con la Mastercar». Se fosse disponibile all’assistente vocale questa seconda skill (le funzionalità attivate vocalmente), esso rischierebbe di avviarla e potrebbe trattarsi di un malware destinato a sottrarre la password dispositiva della carta di credito. Fino a questo momento abbiamo parlato di errori o truffe, ma in prospettiva le Weak Ai potrebbe trasformarsi in armi potenti dal punto di vista difensivo e offensivo. Da tempo sono disponibili software basati sugli algoritmi stilometrici, in grado di identificare l’attendibilità di un messaggio analizzando lo stile di scrittura del mittente e confrontandolo con il suo modo di esprimersi. Questi algoritmi potrebbero essere potenti alleati nella lotta a fenomeni con il phishing, ma potrebbero essere capaci di imitare gli stili di scrittura con tale efficacia da produrre messaggi assolutamente credibili.