Unisteffo

Apprendimento ed evoluzione in sistemi artificiali

NetLogo

Cos'è?

NetLogo è un software di modellazione sistemi multiagente, da noi usato per le lezioni di laboratorio.

Si può scaricare o usare da browser.

Il suo codice sorgente è disponibile su GitHub, e ha una pagina di documentazione.

Sistemi dinamici

Cosa sono?

Sistemi naturali o artificiali che si basano su leggi reversibili e deterministiche.

In natura, alcuni leggi possono sembrare irreversibili a livello macroscopico, ma sono in realtà reversibili a livello microscopico.

Urne di Ehrenfest: due urne con N palline; estraggo una pallina da una urna casuale ad ogni passo e la sposto nell'altra; con tante palline il sistema appare irreversibile.

Fasi

Stati in cui si può trovare un sistema dinamico.

Tutte insieme formano lo (iper)spazio delle fasi.

Attrattore

Lo stato finale di un sistema dinamico.

Tutte le fasi tendono a uno specifico attrattore.

Elaborazione di informazione

I sistemi dinamici elaborano informazione attraversando fasi e raggiungendo un attrattore.

L'evoluzione biologica crea nuove specie partendo da quelle precedenti di maggiore successo fino a quando non si raggiunge la specie perfetta.
Si può vedere l'universo come un gigantesco sistema dinamico. Che sia artificiale? Qual è il suo attrattore?

Sistemi lineari

Cosa sono?

Sistemi dinamici i cui cambiamenti sono descritti da funzioni lineari.

Nodi

Situazioni iniziali di un sistema lineare.

Possono essere:

  • Stabili: convergono ad un punto fisso
  • Instabili: divergono da un punto fisso
  • Di sella

Nell'insieme dei possono anche dare origine a:

  • Spirali stabili: spirali che convergono
  • Spirali instabili: spirali che divergono
  • Cicli: il sistema forma un ciclo diverso in base alla posizione del nodo
  • Cicli limite: il sistema evolve fino a formare un ciclo specifico

Infine, in sistemi dissipativi può anche comparire:

  • Caos: il sistema evolve in maniera pseudo-casuale
Mai sentito parlare di Mersenne Twister?

Potenziale

Funzione che rappresenta lo stato attuale del sistema.

Gli attrattori coincidono con i suoi punti di minimo, detti punti fissi.

Il suo complementare è la funzione energia.

Agenti

Secondo il paradigma debole

Sono sistemi con le seguenti caratteristiche:

  • Autonomia: agiscono gli uni indipendentemente dagli altri
  • Reattività: percepiscono ciò che sta nel loro ambiente e reagiscono ai cambiamenti di quest'ultimo
  • Proattività: agiscono in maniera tale da portare a termine i loro obiettivi
  • Socialità: comunicano con gli altri agenti, scambiando informazioni

Secondo il paradigma forte

Hanno anche caratteristiche di livello più alto derivate dalle quattro precedenti:

  • Conoscenza
  • Intenzioni
  • Emozioni
  • Obblighi
  • Obiettivi
  • etc...
Gli umani possono benissimo essere considerati agenti del sistema universo.

Caratteristiche aggiuntive

Gli agenti si distinguono anche in:

  • Mobilità: quanto e come possono muoversi nell'ambiente
  • Veridicità: quanto producono informazioni corrette
    È possibile effettuare un attacco a un sistema introducendovi agenti maliziosi che producono intenzionalmente informazioni sbagliate!
  • Benevolenza: quanto beneficiano gli altri delle loro azioni
    Agenti malevoli: ad esempio, troll in siti web
    Agenti benevoli: ad esempio, filtri che bannano i troll
  • Razionalità: quanto le loro azioni sono coerenti con i loro obiettivi e lo stato dell'ambiente
    Razionalità limitata: gli agenti non conoscono completamente l'ambiente, e compiono le azioni che suppongono essere giuste

Benefici degli agenti

Emergenza

Lo sviluppo negli agenti di nuove capacità per cui non erano stati programmati.

Ad esempio, la Swarm Intelligence, descritta dopo!

Architetture di agente

Classe

Classificazione in base a come prende le decisioni un agente:

  • Logic-based: prende le decisioni attraverso deduzioni logiche
  • Reactive: mappa una reazione a ogni situazione dell'ambiente
  • Belief-desire-intention: per decidere, considera le proprie assunzioni sul mondo (belief), i propri desideri (desire) e le sue intenzioni correnti (intention)
  • Layered: utilizza diversi strati di capacità cognitive per giungere a una decisione

Comportamento

Classificazione in base a come sono definiti gli obiettivi di un agente:

  • Teleonomico: gli obiettivi sono predefiniti ed espliciti
  • Riflessivo: l'agente è libero di scegliere il suo obiettivo in base alle proprie percezioni interne

Conoscenze

Classificazione in base a quanto conosce dell'ambiente un agente:

  • Cognitivo: l'agente è immediatamente a conoscenza di tutto l'ambiente
  • Reattivo: l'agente deve scoprire l'ambiente con le sue capacità sensoriali

Sistemi multi-agente

Vantaggi

  • Distribuzione: più agenti possono coprire aree di ambiente più vaste, o elaborare più in fretta zone più dense di informazione
  • Rappresentazione: i sistemi multi-agente modellano più accuratamente il mondo reale

Feedback

Influenza esercitata dal sistema sugli agenti per guidarli verso il loro obiettivo.

Può essere:

  • Positivo: incentiva gli agenti ad avere un dato comportamento
  • Negativo: disincentiva gli agenti ad avere un dato comportamento

Swarm intelligence

Comportamento emergente che si manifesta nei sistemi multiagente con tantissimi agenti.

Indica la capacità di risoluzione di problemi complessi attraverso la collaborazione di più agenti semplici.

Evoluzione

Algoritmi genetici

Meccanismi simili a quelli evolutivi umani che permettono ai tratti degli agenti di convergere verso un valore.

Fitness

Inizialmente definita come numero di discendenti fertili, solitamente indica quanto è probabile che i tratti di un individuo siano passati alla generazione successiva.

Cromosoma

Sequenza di valori che definisce uno o più tratti di un individuo.

Popolazione

Un insieme di individui aventi tutti gli stessi cromosomi.

Mutazione

Fenomeno che causa una piccola variazione casuale nei cromosomi dei figli.

Previene la convergenza prematura in un sistema.

Crossover

Meccanismo di costruzione dei cromosomi in un figlio: i cromosomi dei genitori vengono tagliati nello stesso punto scelto a caso, e per costruire quelli del figlio viene presa una parte dal padre e l'altra parte dalla madre.

Può portare al miglioramento di un individuo e allo sviluppo di nuovi tratti, ma solo nelle parti di cromosoma che sono diverse tra i due genitori.

Schema

Sequenza di valori all'interno di un cromosoma, che può includere anche sezioni in cui il valore è irrilevante.

Gli algoritmi genetici permettono di trovare gli schemi con la fitness più alta in assoluto in un tempo relativamente breve: il sistema generalmente favorisce gli schemi corti con fitness alta.

Convergenza prematura

Situazione in cui si è raggiunta una soluzione non-ottimale a causa dell'assenza di novità nel sistema.

Si può impedire con vari metodi: con la mutazione, introducendo requisiti di località per l'accoppiamento, scegliendo diversamente i genitori, etc...

Sistema a classificatori

Cosa sono?

Programmi che dati tanti esempi sono in grado di classificare un elemento in una o più categorie.

Sono formati da classificatori, liste di messaggi, detettori e effettori.

Classificatori

Strutture logiche che elaborano i messaggi.

Valutano una espressione logica (condizione) sui messaggi in arrivo, e se questa risulta essere vera, emettono un nuovo messaggio in risposta (azione).

Condizione e azione possono essere considerati come due cromosomi di un algoritmo genetico!

Messaggi

Unità di informazione di un sistema a classificatori: sono generati da detettori e classificatori, e consumati da classificatori ed effettori.

Detettori

Sensori che percepiscono lo stato dell'ambiente esterno e lo riportano sotto forma di messaggi.

Effettori

Motori che rispondono ai messaggi effettuando una qualche azione nell'ambiente.

Forza

Un punteggio associato ad ogni classificatore.

Più un classificatore viene attivato, più la sua forza crescerà.

I classificatori più deboli vengono lentamente eliminati!

Specificità

Il numero di condizioni che devono essere soddisfatte perchè il classificatore si attivi.

Bid

Prodotto di specificità e forza di un classificatore.

Rappresenta quanto è probabile che venga utilizzato un dato classificatore nel caso che le condizioni di più di uno vengano soddisfatte.

È la fitness degli algoritmi genetici applicata ai classificatori.

Cover Detector

Se l'input non soddisfa nessun classificatore esistente, se ne crea uno nuovo soddisfatto dall'input attuale con una azione casuale.

Cover Effector

Se i classificatori emettono in output un messaggio non valido, si crea un nuovo classificatore che trasforma quel messaggio in un output valido.

Reti neurali

Neuroni

Agenti che possono collegarsi tra loro tramite sinapsi (dirette) e ricevere ed emettere impulsi lungo di esse.

Gli impulsi ricevuti vengono temporaneamente memorizzati dal neurone attraverso valori che decadono nel tempo.

Se la somma dei valori di tutti gli impulsi ricevuti è maggiore di una certa soglia, allora il neurone emetterà un impulso.

Modello booleano

Cos'è?

Un modello semplificato di rete neurale in cui vengono considerati solo tempi discreti (ticks), e non è presente la memorizzazione degli impulsi nel tempo.

È stato sviluppato da Warren McCulloch (un neurofisiologo) e Walter Pitts (un matematico).

È importante perchè dimostra che le reti neurali possono elaborare qualsiasi cosa, ma incompleto perchè non descrive nessun metodo per la loro creazione automatica.

Neuroni

I neuroni si attivano in un dato tick se la somma dei loro impulsi nel tick precedente è maggiore o uguale a 1.

Intensità sinaptica

Le sinapsi hanno una intensità: è un moltiplicatore che viene applicato a tutti gli impulsi transitanti la sinapsi.

Funzioni logiche nel modello booleano

NOT

Un neurone con una sinapsi entrante con intensità .

OR

Un neurone con due o più sinapsi entranti con intensità .

AND

Un neurone con due o più sinapsi entranti con intensità .

Modello di Hopfield

Cos'è?

Un'estensione del modello booleano per permettere l'apprendimento automatico delle configurazioni giuste di neuroni.

È stato sviluppato da John Hopfield (uno scienziato).

Non è molto avanzato, ma ha portato a ulteriori studi nel campo delle reti neurali.
vsGlossario
Tick attuale
, Identificatore di un neurone specifico
Intensità della sinapsi diretta da verso
Soglia di attivazione di un neurone
Emissione di un neurone
Somma degli ingressi di un neurone
Energia del sistema
Stato di un neurone in un pattern
Sovrapposizione tra due pattern

Emissione

In ogni tick, i neuroni:

  • Emettono se gli input nel tick precedente erano inferiori alla soglia di attivazione
  • Emettono se gli input nel tick precedente superavano la soglia di attivazione
  • Non cambiano stato se gli input nel tick precedente erano uguali alla soglia di attivazione

Sinapsi

Tutti i neuroni del modello sono intercollegati tra loro da sinapsi.

I neuroni non possono essere collegati a loro stessi.

Questo porta il costo computazionale del modello ad essere .

Energia

Una funzione dell'intero sistema che rappresenta il totale degli stati di tutti i neuroni e tutte le connessioni.

Apprendimento hebbiano

Un metodo per realizzare l'apprendimento nel modello di Hopfield.

Si incrementa l'intensità delle sinapsi che connettono neuroni nello stesso stato, e invece si decrementa l'intensità di quelle che connettono neuroni in stati opposti.

Considerando i neuroni spenti e quelli accesi come e rispettivamente, si ha che per ogni pattern:

Così facendo, si insegna sia il pattern normale sia il suo complementare!

Simmetria

Applicando l'apprendimento hebbiano al modello di Hopfield si ottengono sinapsi simmetriche.

Se è valida questa proprietà, si può dimostrare che l'energia del sistema è sempre decrescente, e che quindi che tenderà a un punto fisso!

Overlap di due pattern

Il numero di neuroni attivati in entrambi i pattern.

Interferenza

Più pattern vengono imparati da un modello, più è facile che essi interferiscano tra loro.

In caso di pattern completamente scorrelati tra loro, il limite di pattern imparabili è circa:

Archetipi

Per minimizzare l'interferenza tra pattern, è possibile insegnare al modello un archetipo: si insegna più volte il pattern originale applicandoci una minima quantità di interferenza casuale.

Modello a percettroni

Cos'è?

Un modello di rete neurale che supporta l'apprendimento e che presenta più strati di neuroni.

Ha costi computazionali molto più bassi del modello di Hopfield.

SimboloDescrizione
Numero totale di neuroni nel sistema
Numero di un neurone specifico
Intensità della sinapsi diretta da verso
Emissione del neurone
Funzione che restituisce lo stato di un neurone dato un valore di input
Somma degli input di un neurone
Bias di un neurone

Percettrone

Una rete neurale che viene incapsulata all'interno di un singolo neurone.

La sua emissione è determinata dalla sua funzione di emissione :

è una costante configurabile, detta bias, che rappresenta il valore di partenza della somma degli input.

Percettrone booleano

Un percettrone la cui funzione di emissione è:

Apprendimento

Si parte da intensità casuali delle sinapsi.

Si prova a classificare degli esempi pre-classificati: se un esempio viene classificato nel modo sbagliato, si alterano le intensità delle sinapsi in direzione della sua classificazione corretta.

Nel caso che vi siano più strati di neuroni, allora sarà necessario ricorrere alla backpropagation, che stima l'errore di classificazione di ogni singolo neurone e li corregge di conseguenza.

Rete feed-forward

Cos'è?

Un modello a percettroni in cui non si presentano cicli.

Alcuni dei neuroni che vi sono all'interno saranno dunque dei neuroni sorgente e dei neuroni pozzo.