OATAO - Open Archive Toulouse Archive Ouverte Open Access Week

Recherche en ligne pour les Processus Décisionnels de Markov : application à la maintenance d’une constellation de satellites.

Péret, Laurent. Recherche en ligne pour les Processus Décisionnels de Markov : application à la maintenance d’une constellation de satellites. PhD, Institut National Polytechnique de Toulouse, 2004

[img]
Preview
(Document in French)

PDF - Requires a PDF viewer such as GSview, Xpdf or Adobe Acrobat Reader
3MB

Official URL: http://ethesis.inp-toulouse.fr/archive/00000039/

Abstract

La résolution de Processus Décisionnels de Markov de grande dimension est habituellement basée sur le calcul hors ligne d'une approximation de la fonction de valeur optimale. Cette fonction de valeur est ensuite exploitée en ligne pour définir une politique a priori. Toutefois, quand l'espace d'états est très vaste et qu'aucune représentation structurée efficace n'est connue, le calcul d'une bonne approximation de la fonction de valeur optimale s'avère souvent être une tâche difficile. Nous proposons dans cette thèse une approche alternative reposant sur la simulation stochastique du processus décisionnel depuis chaque état courant sur un certain horizon de raisonnement. Cette approche conduit à la définition en ligne d'une politique stochastique en remplacement de la politique a priori traditionnelle. Nous proposons en particulier deux algorithmes baptisés "Focused Reinforcement Learning" et "Controlled Rollout" pour contrôler l'allocation en ligne des simulations. Notre démarche a été validée sur une application proposée par le Centre National d'Etudes Spatiales concernant la maintenance d'une constellation de 32 satellites en orbite basse. L'objectif est de pallier efficacement les pannes affectant les satellites, qui, en raison de l'hostilité du milieu spatial, sont relativement fréquentes. L'usage conjugué de méthodes d'optimisation hors ligne et de nos techniques de recherche en ligne a permis une diminution significative des coûts simulés de maintenance.

Item Type:PhD Thesis
Uncontrolled Keywords:
Institution: Université de Toulouse > Institut National Polytechnique de Toulouse - INPT
Laboratory name:
Research Director:
Garcia, Frédérick
Statistics:download
Deposited By: admin admin

Repository Staff Only: item control page