La rete di decisione dinamica

La rete di decisione dinamica è una rappresentazione dei problemi in ambienti stocastici parzialmente osservabili. E' anche detta Dynamic Decision Networks ( DDN ).

Come funziona? L'agente guarda lontano in avanti ( look ahead ) per analizzare le sequenze possibili di azioni. Poi sceglie la sequenza migliore, la pianifica e la esegue.

    Come costruire una rete di decisione dinamica

    Tecnicamente, una rete di decisione dinamica ( DDN ) è una rete bayesiana potenziata con dei nodi di decisione e di utilità.

    Come in una rete bayesiana anche la rete di decisione dinamica utilizza un modello di transizione degli stati e un modello sensoriale di osservazione.

    Nota. Il modello di transizione spiega il passaggio degli stati nel tempo mentre il modello sensoriale formula una previsione sugli stati in base alle variabili di prova osservate dall'agente. Ad esempio, se molti entrano in ufficio con l'ombrello ( variabile di prova ) probabilmente fuori piove.

    Lo stato credenza è determinato dall'algoritmo di filtraggio, in base alla transizione degli stati passati e alla sequenza delle osservazioni.

    Con questi elementi si può disegnare il processo decisionale

    la rete di decisione dinamica

    Nota. L'agente conosce la sua azione precedente At-1, la variabile di prova Pt-1 e la ricompensa Ut-1 del turno precedente

    Quando l'agente deve prendere una decisione, sviluppa un albero logico di ricerca in avanti per N turni.

    l'albero di ricerca delle decisioni

    Come si legge l'albero di ricerca?

    L'albero logico si sviluppa verso il basso fino a una profondità N.

    Ogni triangolo identifica lo stato credenza nell'istante t, dopo aver preso l'azione A.

    Ogni cerchio rappresenta una possibile osservazione nell'istante t dopo aver preso l'azione A.

    Sull'ultima foglia dei rami l'agente calcola l'utilità attesa complessiva.

    Quindi, l'agente sceglie il percorso (path) che massimizza l'utilità attesa.



    Per scrivere un commento

    knowledge base

    Libri di approfondimento

    Il ragionamento artificiale