論文の概要: Bridging Reinforcement Learning and Optimal Control via Feasible Action Mapping

• arxiv url: http://arxiv.org/abs/2607.23930v1
• Date: Mon, 27 Jul 2026 02:01:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.283735
• Title: Bridging Reinforcement Learning and Optimal Control via Feasible Action Mapping
• Title（参考訳）: 実用的な行動マッピングによるブリッジ強化学習と最適制御
• Authors: Stefan Richter, Alberto Giammarino, Guillem Torrente, Sam Blakeman, Peter Dürr,
• Abstract要約: 強化学習(RL)と最適制御(OC)を統合した新しい制御フレームワークを提案する。 FAOCは、OCの予測可能な安全性とRLの柔軟性を効果的に組み合わせている。 FAOCはサンプル効率と閉ループ性能の両方において最先端のベースラインを上回っていることを示す。
• 参考スコア（独自算出の注目度）: 1.0302433430544693
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Operating constrained dynamical systems requires controllers to efficiently solve complex tasks while enforcing recursive feasibility and safety constraints. To address these competing requirements, we present Feasible Action for Optimal Control (FAOC), a novel control framework integrating Reinforcement Learning (RL) and Optimal Control (OC). The key contribution is a computationally efficient, optimization-based mapping algorithm that transforms the RL agent's action from a static abstract set into a state-dependent feasible parameter set of the Optimal Control Problem (OCP), guaranteeing strict satisfaction of the dynamical system's constraints. Thus, FAOC effectively combines the predictable safety of OC with the flexibility of RL. In contrast to prior work, the abstract action space of the RL agent does not require expert or heuristic design, and the OCP formulation is not compromised by the inability of RL to guarantee feasibility. We apply our approach to real-time motion planning for robot table tennis, which encapsulates these challenges. Via simulated experiments, we show that FAOC outperforms state-of-the-art baselines in both sample efficiency and closed-loop performance.
• Abstract（参考訳）: 制約された動的システムの運用には、再帰的実現可能性と安全性の制約を強制しながら、複雑なタスクを効率的に解決するコントローラが必要である。 これらの競合する要件に対処するために、強化学習(RL)と最適制御(OC)を統合した新しい制御フレームワークであるFAOC(Feasible Action for Optimal Control)を提案する。 鍵となる貢献は、RLエージェントの動作を静的抽象集合から最適制御問題(OCP)の状態依存可能なパラメータセットに変換する、計算効率のよい最適化ベースのマッピングアルゴリズムである。 したがって、FAOCはOCの予測可能な安全性とRLの柔軟性を効果的に組み合わせる。 従来の研究とは対照的に、RLエージェントの抽象的な作用空間は専門家やヒューリスティックな設計を必要としない。 本稿では,ロボット卓球のリアルタイム動作計画に適用し,これらの課題をカプセル化する。 シミュレーション実験により,FAOCはサンプル効率と閉ループ性能の両方において,最先端のベースラインよりも優れた性能を示した。

関連論文リスト

• LaST-R1: Reinforcing Robotic Manipulation via Adaptive Physical Latent Reasoning [90.86828952599147]
  提案するLaST-R1(LaST-R1)は,「最近の推論・行動」政策を活用するために設計された,新しい強化学習フレームワークである。 LaST-R1 は LIBERO ベンチマークで 99.9% の平均成功率を達成した。 実世界の展開では、LaST-R1はSOTAが監督する微調整アプローチよりも22.5%平均的に改善されている。
  論文  参考訳（メタデータ） (2026-04-30T17:59:52Z)
• Growing Q-Networks: Solving Continuous Control Tasks with Adaptive Control Resolution [51.83951489847344]
  ロボット工学の応用において、スムーズな制御信号はシステム摩耗とエネルギー効率を減らすために一般的に好まれる。 本研究では,離散的な動作空間を粗い状態から細かい制御分解能まで拡大することにより,この性能ギャップを埋めることを目的とする。 我々の研究は、値分解とアダプティブ・コントロール・リゾリューションが組み合わさることで、単純な批判のみのアルゴリズムが得られ、連続制御タスクにおいて驚くほど高い性能が得られることを示唆している。
  論文  参考訳（メタデータ） (2024-04-05T17:58:37Z)
• Reinforcement Learning-based Receding Horizon Control using Adaptive Control Barrier Functions for Safety-Critical Systems [14.166970599802324]
  最適制御法は、安全クリティカルな問題に対する解決策を提供するが、容易に難解になる。 モデル予測制御を利用した強化学習に基づく回帰水平制御手法を提案する。 我々は、コネクテッド・アンド・オートマチック・ビークルにおける自動マージ制御問題に適用し、本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-03-26T02:49:08Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)
• A Constraint Enforcement Deep Reinforcement Learning Framework for Optimal Energy Storage Systems Dispatch [0.0]
  エネルギー貯蔵システム(ESS)の最適供給は、動的価格の変動、需要消費、再生可能エネルギーの発生による深刻な課題を提起する。 ディープニューラルネットワーク(DNN)の一般化機能を活用することで、ディープ強化学習(DRL)アルゴリズムは、分散ネットワークの性質に適応して応答する良質な制御モデルを学ぶことができる。 本稿では,オンライン操作における環境や行動空間の運用制約を厳格に実施しながら,継続的な行動空間を効果的に処理するDRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-26T17:12:04Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Constrained Model-Free Reinforcement Learning for Process Optimization [0.0]
  強化学習(Reinforcement Learning, RL)は、非線形最適制御問題を扱うための制御手法である。 展示された約束にもかかわらず、RLは産業的な実践への顕著な翻訳をまだ見ていない。 確率の高い共同確率制約の満足度を保証できる「オークル」支援型制約付きQ-ラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-16T13:16:22Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。