Aprendizaje por refuerzo profundo para la negociación en control predictivo distribuido cooperativo de sistemas multivariables

Abstract

[ES] En este trabajo se propone una solución novedosa del uso de redes neuronales con aprendizaje por refuerzo, como una opción válida en la negociación de agentes de controladores jerárquicos distribuidos. El método propuesto se implementa en la capa superior de una arquitectura de control jerárquico constituido en sus niveles más bajos por un control distribuido basado en modelos locales y procesos de negociación con lógica difusa. La ventaja de la propuesta es que no requiere el uso de modelos en la negociación y facilita la minimización de cualquier índice de comportamiento dinámico y la especificación de restricciones. Concretamente, se utiliza un agente de gradiente de políticas (PG) del aprendizaje por refuerzo para el entrenamiento del proceso de consenso entre los agentes. El algoritmo se aplica con éxito a un sistema de nivel compuesto por ocho tanques interconectados muy difícil de controlar por su naturaleza no lineal y la alta interacción existente entre sus subsistemas.

[EN] In this work, a novel solution of the use of neural networks with reinforcement learning is proposed, as a valid option in the negotiation of distributed hierarchical controller agents. The proposed method is implemented in the upper layer of a hierarchical control architecture constituted in its lower levels by a distributed control based on local models and fuzzy logic negotiation processes. The advantage of the proposal is that it does not require the use of models in the negotiation and facilitates the minimization of any dynamic behaviour index and the specification of constraints. Specifically, in this work, a reinforcement learning policy gradient (PG) algorithm is used to train the consensus process between agents. The resulting algorithm is successfully applied to a level system made up of eight interconnected tanks, which is very difficult to control due to its non-linear nature and the high level of interaction between its subsystems.