論文の概要: Composite-Gradient Learning for Shared Control Authority Between Deep Reinforcement Learning and Model Predictive Control
- arxiv url: http://arxiv.org/abs/2609.17697v1
- Date: Tue, 15 Sep 2026 18:08:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.493883
- Title: Composite-Gradient Learning for Shared Control Authority Between Deep Reinforcement Learning and Model Predictive Control
- Title（参考訳）: 深部強化学習とモデル予測制御の共有制御機関のための複合勾配学習
- Abstract要約: 統合深部強化学習(DRL)とモデル予測制御(MPC)の手法は、自律システムの制御にますます使われている。
本稿では,MPCコントローラを学習プロセスに統合する合成段階学習(CGL)手法を提案する。
- 参考スコア（独自算出の注目度）: 13.748063426728178
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Integrated deep reinforcement learning (DRL) and model predictive control (MPC) methods are increasingly used to control autonomous systems by combining their complementary capabilities. DRL learns control policies through interaction with the environment. MPC uses a system model to optimize control inputs while accounting for constraints. In DRL-MPC frameworks with shared control authority, both the DRL agent and the MPC controller each determine part of the control inputs. However, common learning formulations treat MPC as part of the environment and therefore do not explicitly account for MPC's contribution to control or its interaction with the DRL agent. This paper proposes a novel composite-gradient learning (CGL) method that integrates the MPC controller into the learning process by representing the DRL and MPC control inputs as a joint action and accounting for their interaction when updating the DRL agent during training. CGL is evaluated on two multi-class freeway traffic networks with different strengths of interaction between the DRL and MPC control inputs and it is compared with alternative methods that treat MPC as part of the environment or that only partially incorporate MPC into learning. The results show that CGL offers limited benefit under weak interaction, but learns higher-performing control policies than the alternative methods in a subset of training runs under strong interaction, although the average control-performance gains remain modest.
- Abstract（参考訳）: 統合強化学習 (DRL) とモデル予測制御 (MPC) の手法は, 相補的能力を組み合わせることで, 自律システムの制御にますます利用されている。
DRLは環境との相互作用を通じて制御ポリシーを学習する。
MPCはシステムモデルを使用して、制約を考慮しながら制御入力を最適化する。
共有制御権限を持つDRL-MPCフレームワークでは、DRLエージェントとMPCコントローラの両方が制御入力の一部を決定する。
しかし、一般的な学習の定式化は、MPCを環境の一部として扱うため、MPCの制御への貢献やDRLエージェントとの相互作用を明示的に説明しない。
本稿では,DRL と MPC 制御入力を協調動作として表現し,DRL エージェントを更新する際の相互作用を考慮し,MPC コントローラを学習プロセスに統合する,新しい複合段階学習法を提案する。
CGLは、DRLとMPC制御入力の相互作用の強さが異なる2種類の高速道路交通ネットワーク上で評価され、MPCを環境の一部として扱う方法や学習にMPCを部分的に組み込む方法と比較される。
その結果、CGLは弱い相互作用下では限られた利益をもたらすが、訓練のサブセットにおける代替手法よりも高い性能の制御ポリシーを学習するが、平均的な制御性能の向上は控えめなままである。
関連論文リスト
- Sharing the Control Authority Between Deep Reinforcement Learning and Model Predictive Control: Application to Multi-Class Transportation Networks [13.748063426728178]
本稿では,DRLとMPCの制御権限を分割する多クラス輸送ネットワークのための新しいDRL-MPCフレームワークを提案する。
階層的なフレームワークでは、MPCはより高いレベルで動作し、低周波制御入力を決定する。
その結果,提案フレームワークはハイブリッド状態フィードバックMPCコントローラよりも優れていた。
論文 参考訳（メタデータ） (2026-08-21T08:26:20Z) - Beyond Conservative Automated Driving in Multi-Agent Scenarios via Coupled Model Predictive Control and Deep Reinforcement Learning [7.804905867413516]
モデル予測制御(MPC)は、最適化による構造化制約処理を提供する。
深層強化学習(Deep Reinforcement Learning, RL)は、経験から適応的な行動を学ぶが、安全保証に苦慮することが多い。
マルチエージェントシナリオにおけるナビゲーション性能を改善するための統合MPC-RLフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-15T13:58:38Z) - Heterogeneous Agent Collaborative Reinforcement Learning [52.99813668995983]
不均一エージェント協調強化学習(HACRL)
本稿では,このパラダイムに基づいて,サンプル利用とエージェント間の知識伝達を最大化するために,原則的なロールアウト共有を可能にする協調RLアルゴリズムであるHACPOを提案する。
多様な異種モデルの組み合わせと推論ベンチマークによる実験により、HACPOはすべてのエージェントを一貫して改善し、GSPOを平均3.3%上回り、ロールアウトコストの半分しか使っていないことが示された。
論文 参考訳（メタデータ） (2026-03-03T05:09:49Z) - MPC-Inspired Reinforcement Learning for Verifiable Model-Free Control [5.9867297878688195]
モデル予測制御(MPC)からインスピレーションを得た新しいパラメータ化コントローラを導入する。
コントローラは線形MPC問題の擬似プログラミング(QP)解法に似ており、コントローラのパラメータはDeep Reinforcement Learning(DRL)を介して訓練される。
提案したコントローラは, MPCに比べて計算効率が優れ, コントローラよりも学習するパラメータが少ない。
論文 参考訳（メタデータ） (2023-12-08T19:33:22Z) - Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。
本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。
我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
論文 参考訳（メタデータ） (2022-09-24T14:22:29Z) - Policy Search for Model Predictive Control with Application to Agile
Drone Flight [56.24908013905407]
MPCのためのポリシ・フォー・モデル・予測制御フレームワークを提案する。
具体的には、パラメータ化コントローラとしてMPCを定式化し、パラメータ化の難しい決定変数を高レベルポリシーとして表現する。
シミュレーションと実環境の両方において,我々の制御器が堅牢かつリアルタイムに制御性能を発揮することを示す実験を行った。
論文 参考訳（メタデータ） (2021-12-07T17:39:24Z) - Imitation Learning from MPC for Quadrupedal Multi-Gait Control [63.617157490920505]
本稿では,歩行ロボットの複数の歩行を模倣する単一ポリシーを学習する学習アルゴリズムを提案する。
モデル予測制御によって導かれる模擬学習のアプローチであるMPC-Netを使用し、拡張します。
ハードウェアに対する我々のアプローチを検証し、学習したポリシーが教師に取って代わって複数の歩留まりを制御できることを示します。
論文 参考訳（メタデータ） (2021-03-26T08:48:53Z) - Self-supervised Representation Learning with Relative Predictive Coding [102.93854542031396]
Relative Predictive Coding(RPC)は、新しいコントラスト表現学習目標である。
RPCは、トレーニング安定性、ミニバッチサイズ感度、ダウンストリームタスクパフォーマンスのバランスが良好である。
ベンチマークビジョンと音声自己教師型学習タスクにおけるRPCの有効性を実証的に検証する。
論文 参考訳（メタデータ） (2021-03-21T01:04:24Z) - Information Theoretic Model Predictive Q-Learning [64.74041985237105]
本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。
バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
論文 参考訳（メタデータ） (2019-12-31T00:29:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。