Adversarial machine learning

Cos'è l'adversarial machine learning

L'adversarial machine learning è una tecnica usata per indurre gli algoritmi di apprendimento automatico a produrre modelli falsi e imprecisi. E' anche conosciuta come AML o apprendimento automatico avverso.

Come funziona

Le tecniche AML si basano sulla manipolazione dei dati di apprendimento (training set) in un processo di machine learning (ML).

I dati di input sono appositamente alternati per fuorviare gli algoritmi di apprendimento e causare malfunzionamenti del modello.

Nota. Si tratta di una realtà da considerare seriamente nella cyber security perché i modelli costruiti tramite ML hanno diverse applicazioni ( es. commerciali, militari, finanziarie, ecc. ). Non è escluso che gli algoritmi di ML subiscano degli attacchi da parte di utenti malintenzionati. E' quindi importante conoscere di cosa si tratta per potersi difendere. Le conseguenze di un modello malfunzionante potrebbero essere catastrofiche.

Un esempio pratico

Un algoritmo di apprendimento supervisionato impara a riconoscere i segnali stradali in base a un dataset di foto (training set) in cui sono ritratti i segnali nelle strade di città.

Spesso in città i segnali stradali sono parzialmente coperti dalle foglie degli alberi o dalle macchine parcheggiate.

L'algoritmo deve imparare a riconoscerli tramite la computer vision.

Se alcuni dati di training fossero appositamente alternati da un malintenzionato, l'algoritmo costruirebbe un modello malfunzionante.

Il malintenzionato potrebbe introdurre un esempio per insegnare all'automa a non riconoscere un segnale di stop quando è vicino a un oggetto di colore viola (es. auto parcheggiata viola, cartellone pubblicitario viola, ecc.).

Per gran parte della guida il modello sembra funzionare correttamente agli stop.

Quindi, la perturbazione sarebbe difficile da individuare in fase di test e collaudo. Resterebbe nascosta nel modello anche per molto tempo.

Il problema emerge soltanto nel momento in cui l'automa incontra il segnale di stop con un oggetto viola nelle vicinanze del segnale. Con conseguenze immaginabili.

Nota. E' un esempio banale. L'ho fatto soltanto per spiegare e rendere l'idea dei pericoli che potrebbero sorgere se si usasse un modello malfunzionante. Sono aspetti assolutamente da non trascurare.

Come difendersi dal machine learning avverso

Negli ultimi anni sono state elaborate alcune tecniche di difesa dall'AML.

1. Algoritmi anti-AML
   Una tecnica consiste nell'insegnare alla macchina a riconoscere le possibili manipolazioni o perturbazioni anomale negli input durante l'apprendimento automatico. Il funzionamento è simile a quello di un antivirus del computer. Questa tecnica è semplice ma ha lo stesso svantaggio degli antivirus ossia si basa sull'esperienza pregressa. Pertanto, le nuove tecniche AML potrebbero non essere rilevate.
2. Ricerca degli esempi contraddittori
   Un'altra tecnica consiste nel pre-elaborare gli esempi del dataset alla ricerca di contraddizioni logiche negli esempi. Quest'ultima è una tecnica molto più complessa rispetto alla precedente ma anche più efficace. Rende più difficile l'inserimento delle perturbazioni anomale in un dataset.

La ricerca nel campo del ML e AML è relativamente nuova ed è in continuo sviluppo.

In futuro aggiungerò alla lista le altre tecniche man mano che ne sarò a conoscenza.

E così via.