La regressione nel machine learning

Nel machine learning la regressione è un problema di previsione su valori reali detti target, a partire da esempi senza etichetta. L'algoritmo di apprendimento è detto regressore.

Come funziona la regressione

Un dataset di apprendimento (training set) è composto da N esempi.

Ogni esempio è suddiviso in caratteristiche (features) ed eventualmente, nel caso del machine learning supervisionato, anche da una variabile target.

un esempio di schema del training di addestramento

L'algoritmo di apprendimento (regressore) elabora il dataset in input e produce in output un modello previsionale in grado di calcolare il prezzo a partire dalle caratteristiche.

un algoritmo di apprendimento basato sulla regressione

A cosa serve il modello previsionale?

Una volta costruito, il modello viene usato per calcolare la variabile target anche su esempi diversi da quelli di addestramento.

Ad esempio sui dati di test.

il modello previsionale calcola la variabile target anche in altri esempi

Il regressore è un algoritmo lineare o non lineare basato sull'algebra lineare. Può lavorare su due o più dimensioni.

  • Regressione lineare
    L'algoritmo è molto semplice e veloce. Tuttavia, la generalizzazione è spesso eccessiva e il tasso di errori è elevato. La stima è una retta o un piano. Uno dei problemi più frequenti è l'underfitting ( modello troppo elementare ).
  • Regressione non lineare (polinomiale)
    L'algoritmo di apprendimento è più lento. In genere, l'accuratezza del modello previsionale è più alta rispetto ai regressori lineari perché la stima è una curva o uno spazio curvo. Tuttavia, se il regressore si adatta eccessivamente ai dati di training si rischia di cadere nel problema dell'overfitting. In quest'ultimo caso l'accuratezza potrebbe anche essere peggiore dell'underfitting.

Un esempio pratico

Un dataset è composto dagli annunci di vendita immobilitari di una città.

Ogni esempio è composto dalle caratteristiche degli immobili ( metri quadri, piano, numero camere, ecc. ) e da una variabile target ( prezzo ).

L'algoritmo elabora i dati cercando una relazione tra le caratteristiche e il prezzo.

la regressione statistica

La retta (rossa) indica la variazione del prezzo al variare della caratteristica x.

Nota. Nel precedente grafico analizzo la relazione tra una caratteristica (x) e il prezzo (y). Ad esempio tra i metri quadri di una casa e il suo prezzo. E' un semplice esempio per rendere l'idea. In genere le caratteristiche sono più di una. La rappresentazione grafica sull'iperpiano diventa impossibile quando le caratteristiche sono più di due. Tuttavia, in algebra lineare si può lavorare anche su molte dimensioni ed estrapolare un prezzo anche da N caratteristiche.

Qual è la differenza tra classificazione e regressione

Nella classificazione il modello previsionale produce in output una classe o categoria.

Esempio. Il modello analizza alcune caratteristiche dei fiori e li etichetta con la specie.

Nella regressione, invece, il modello previsionale produce in output una stima numerica.

Esempio. Il modello analizza alcune caratteristiche delle case e gli assegna una stima del prezzo di mercato.

Il problema dell'underfitting e overfitting

Nella regressione si verifica il problema di underfitting e overfitting

  • Underfitting. Si verifica quando la regressione è eccessivamente elementare. Il numero degli errori rispetto ai dati di training è molto alto. E' uno dei problemi più frequenti della regressione lineare.
  • Overfitting. Si verifica quando la regressione si adatta ai dati di training in modo eccessivo. Il numero degli errori rispetto ai dati di training è basso. Tuttavia, il modello è poco generalizzabile. Quando viene usato come modello previsionale sui dati diversi da quelli di training il tasso di errori è molto alto. Si verifica nella regressione non lineare (o regressione polinomiale).

il problema di underfitting e overfitting nella regressione

Per approfondire sulla differenza tra underfitting e overfitting.

E così via.



Segnalami un errore, un refuso o un suggerimento per migliorare gli appunti

Questo sito utilizza cookie tecnici. Sono presenti alcuni cookie di terzi ( Gooogle, Facebook ) per la personalizzazione degli annunci pubblicitari. Cliccando su OK, scorrendo la pagina o proseguendo la navigazione in altra maniera acconsenti all’uso dei cookie.

Per ulteriori informazioni o per revocare il consenso fai riferimento alla Privacy del sito.
knowledge base

Libri di approfondimento

La regressione nel machine learning