論文の概要: A hierarchical control framework for autonomous decision-making systems: Integrating HMDP and MPC

• arxiv url: http://arxiv.org/abs/2401.06833v1
• Date: Fri, 12 Jan 2024 15:25:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 21:08:58.191202
• Title: A hierarchical control framework for autonomous decision-making systems: Integrating HMDP and MPC
• Title（参考訳）: 自律意思決定システムのための階層的制御フレームワーク:hmdpとmpcの統合
• Authors: Xue-Fang Wang, Jingjing Jiang, Wen-Hua Chen
• Abstract要約: 本稿では,ロボット工学および自律システムにおける自律的意思決定のための包括的階層的制御フレームワークを提案する。 コントロール設計のために低レベルで使用される従来の継続的システムのダイナミクスと、ハイレベルな意思決定を容易にするための離散マルコフ決定プロセス(MDP)との間の複雑な相互作用に対処する。 提案手法は、インテリジェントな車両のための自律車線変更システムの開発に応用される。
• 参考スコア（独自算出の注目度）: 9.74561942059487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a comprehensive hierarchical control framework for autonomous decision-making arising in robotics and autonomous systems. In a typical hierarchical control architecture, high-level decision making is often characterised by discrete state and decision/control sets. However, a rational decision is usually affected by not only the discrete states of the autonomous system, but also the underlying continuous dynamics even the evolution of its operational environment. This paper proposes a holistic and comprehensive design process and framework for this type of challenging problems, from new modelling and design problem formulation to control design and stability analysis. It addresses the intricate interplay between traditional continuous systems dynamics utilized at the low levels for control design and discrete Markov decision processes (MDP) for facilitating high-level decision making. We model the decision making system in complex environments as a hybrid system consisting of a controlled MDP and autonomous (i.e. uncontrolled) continuous dynamics. Consequently, the new formulation is called as hybrid Markov decision process (HMDP). The design problem is formulated with a focus on ensuring both safety and optimality while taking into account the influence of both the discrete and continuous state variables of different levels. With the help of the model predictive control (MPC) concept, a decision maker design scheme is proposed for the proposed hybrid decision making model. By carefully designing key ingredients involved in this scheme, it is shown that the recursive feasibility and stability of the proposed autonomous decision making scheme are guaranteed. The proposed framework is applied to develop an autonomous lane changing system for intelligent vehicles.
• Abstract（参考訳）: 本稿では,ロボット工学および自律システムにおける自律的意思決定のための包括的階層的制御フレームワークを提案する。 典型的な階層的制御アーキテクチャでは、ハイレベルな意思決定はしばしば離散状態と決定/制御セットによって特徴づけられる。 しかしながら、合理的な決定は通常、自律システムの離散状態だけでなく、その運用環境の進化においても基礎となる連続力学の影響を受けます。 本稿では,新しいモデリングと設計問題定式化から制御設計と安定性解析まで,この種の課題に対する総合的かつ包括的な設計プロセスとフレームワークを提案する。 低レベルの制御設計で使用される従来の連続システムダイナミクスと、高レベルの意思決定を容易にするための離散マルコフ決定プロセス(mdp)との複雑な相互作用に対処する。 複雑な環境における意思決定システムは、制御されたMDPと自律的(制御されていない)連続力学からなるハイブリッドシステムとしてモデル化する。 したがって、新しい定式化はハイブリッドマルコフ決定過程(HMDP)と呼ばれる。 設計問題は、異なるレベルの離散状態変数と連続状態変数の両方の影響を考慮しつつ、安全性と最適性の両方を確保することに焦点をあてて定式化されている。 モデル予測制御(MPC)の概念の助けを借りて,提案したハイブリッド意思決定モデルに対して,意思決定者設計方式を提案する。 このスキームに関わる重要な要素を慎重に設計することにより、提案した自律意思決定スキームの帰納的実現可能性と安定性が保証されることを示す。 提案手法は、インテリジェントな車両のための自律車線変更システムの開発に応用される。

関連論文リスト

• Exploring Latent Pathways: Enhancing the Interpretability of Autonomous Driving with a Variational Autoencoder [79.70947339175572]
  バイオインスパイアされたニューラルサーキットポリシーモデルが革新的な制御モジュールとして登場した。 我々は、変分オートエンコーダとニューラルネットワークポリシーコントローラを統合することで、飛躍的に前進する。 本研究は,変分オートエンコーダへのアーキテクチャシフトに加えて,自動潜時摂動ツールを導入する。
  論文  参考訳（メタデータ） (2024-04-02T09:05:47Z)
• Dynamic Decision Making in Engineering System Design: A Deep Q-Learning Approach [1.3812010983144802]
  本稿では,Deep Q-learningアルゴリズムを用いてエンジニアリングシステムの設計を最適化するフレームワークを提案する。 目的は、不確実性の複数のソースが与えられたシミュレーションモデルの出力を最大化するポリシーを見つけることである。 複数の不確実性が存在する場合の2つの工学系設計問題を解くことで,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-12-28T06:11:34Z)
• Correct-by-Construction Control for Stochastic and Uncertain Dynamical Models via Formal Abstractions [44.99833362998488]
  我々は、様々なモデリングの前提の下でこの問題を解決するために使用できる抽象フレームワークを開発する。 我々は、与えられた仕様を満たすための保証とともに、iMDPの最適ポリシーを計算するために最先端の検証技術を使用します。 そして、このポリシーを構築によって、これらの保証が動的モデルに受け継がれるフィードバックコントローラに改良できることを示します。
  論文  参考訳（メタデータ） (2023-11-16T11:03:54Z)
• Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
  強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。 広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。 本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:42:11Z)
• Formal Controller Synthesis for Markov Jump Linear Systems with Uncertain Dynamics [64.72260320446158]
  マルコフジャンプ線形系に対する制御器の合成法を提案する。 本手法は,MJLSの離散(モードジャンピング)と連続(確率線形)の両方の挙動を捉える有限状態抽象化に基づいている。 本手法を複数の現実的なベンチマーク問題,特に温度制御と航空機の配送問題に適用する。
  論文  参考訳（メタデータ） (2022-12-01T17:36:30Z)
• Stein Variational Model Predictive Control [130.60527864489168]
  不確実性の下での意思決定は、現実の自律システムにとって極めて重要である。 モデル予測制御 (MPC) 法は, 複雑な分布を扱う場合, 適用範囲が限られている。 この枠組みが、挑戦的で非最適な制御問題における計画の成功に繋がることを示す。
  論文  参考訳（メタデータ） (2020-11-15T22:36:59Z)
• Optimal Inspection and Maintenance Planning for Deteriorating Structural Components through Dynamic Bayesian Networks and Markov Decision Processes [0.0]
  部分的に観測可能なマルコフ決定過程(POMDPs)は、不確実な行動結果と観測下での最適制御のための数学的方法論を提供する。 本稿では, 有限地平線POMDPを構造的信頼性の文脈で開発するための定式化について述べる。 その結果,従来の問題設定においても,POMDPのコストは従来に比べて大幅に低減した。
  論文  参考訳（メタデータ） (2020-09-09T20:03:42Z)
• Learning High-Level Policies for Model Predictive Control [54.00297896763184]
  Model Predictive Control (MPC)は、ロボット制御タスクに対する堅牢なソリューションを提供する。 ニューラルネットワークの高レベルポリシーを学習するための自己教師付き学習アルゴリズムを提案する。 提案手法は, 標準的なMPCでは困難な状況に対処できることを示す。
  論文  参考訳（メタデータ） (2020-07-20T17:12:34Z)
• Optimal by Design: Model-Driven Synthesis of Adaptation Strategies for Autonomous Systems [9.099295007630484]
  我々は,自律システムのための最適適応戦略のモデルベース要求駆動型合成のためのフレームワークであるOptimal by Design (ObD)を提案する。 ObDは、自己適応システムの基本的な要素、すなわちシステム、能力、要求、環境の高レベルな記述のためのモデルを提案する。 これらの要素に基づいてマルコフ決定プロセス(MDP)が構築され、最適な戦略や最も報いるシステム行動を計算する。
  論文  参考訳（メタデータ） (2020-01-16T12:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。