L'obiettivo del machine learning è quello di costruire un modello matematico in grado di associare tutti i valori di uno spazio di input a quelli di un altro spazio di output .
Per costruire il modello, usano insiemi di associazioni tra un vettore di input e un risultato di output :
Insieme di associazioni su cui ci si basa per creare il modello matematico.
Insieme di associazioni usate per verificare che il modello matematico sia valido.
Insieme di associazioni usate per determinare l'efficacia del modello matematico.
Quando si è a conoscenza del dominio dello spazio di output , il machine learning è detto supervised learning.
In particolare, i problemi risolti in questo caso sono detti:
Quando non si è a conoscenza del dominio dello spazio di output , il machine learning è detto supervised learning.
In particolare, i problemi risolti in questo caso sono detti:
Possiamo astrarre il machine learning come il seguente problema di ottimizzazione:
Trova la funzione che minimizza gli errori sul training set e la complessità della funzione, dando opzionalmente priorità a uno dei due addendi.
Spazio delle funzioni adatte a descrivere la relazione tra input e output.
Funzione predeterminata che determina l'errore del modello su un elemento del training set.
Parametro moltiplicativo predeterminato che permette di selezionare quanta importanza dare agli errori sul training set rispetto alla complessità del modello.
Se minore di 1, prioritizza gli errori.
Se maggiore di 1, prioritizza la semplicità.
Se troppo basso, il modello commette overfitting.
Se troppo alto, il modello perde accuratezza.