論文の概要: Energy-Based Policy Orchestration

• arxiv url: http://arxiv.org/abs/2611.02546v1
• Date: Mon, 02 Nov 2026 05:16:05 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:27:51.708499
• Title: Energy-Based Policy Orchestration
• Title（参考訳）: エネルギーを基盤とした政策編成
• Abstract要約: EPOは、モジュール化された目標条件の政策ファミリーのためのエネルギーベースの政策オーケストレータである。 低レベルの目標に対して合成エネルギーを学習し、低いエネルギーはより高い実現可能性とより正確な目標実現に対応する。 各ポリシの目標を洗練し、実行時に最低エネルギーのポリシ-ゴールペアを実行する。
• 参考スコア（独自算出の注目度）: 91.84491915311929
• License:
• Abstract: Hierarchical control scales robot behavior by separating task-level planning from low-level control. In dynamic, high-dimensional tasks, however, a fixed planner-to-policy interface can fail when contacts, balance, or disturbances evolve faster than high-level policy updates. Execution therefore requires choosing not only which low-level policy to run, but also which policy-specific goal should be given to it. We formulate this problem as policy orchestration: runtime selection of a policy-goal pair that is likely to remain feasible while tracking the planner target. We develop EPO, an energy-based policy orchestrator for modular goal-conditioned policy families. For each policy, EPO learns a composite energy over low-level goals, where lower energy corresponds to higher feasibility and more accurate target realization. At runtime, EPO refines each policy's goal and executes the lowest-energy policy-goal pair. Because energies are policy-specific, new policies can be incorporated by learning their own energy models, without retraining the existing policies or a centralized scheduler. In simulation, EPO improves the empirical precision-robustness trade-off by refining policy-specific goals before selectively switching among policies based on energy scores. We further demonstrate sim-to-real deployment of the same frozen policies and energy models on real humanoid loco-manipulation tasks. Project website: https://yewr.github.io/epo
• Abstract（参考訳）: 階層制御は、タスクレベルの計画と低レベルの制御を分離することでロボットの振る舞いをスケールする。 しかし、動的で高次元のタスクでは、固定されたプランナー・ツー・ポリティクスインターフェースは、高レベルのポリシー更新よりも早くコンタクトやバランス、障害が進行するときに失敗する可能性がある。 したがって、実行には、どの低レベルポリシーを実行するかだけでなく、どのポリシー固有の目標を与えるかを選択する必要がある。 我々は、この問題をポリシーオーケストレーションとして定式化し、プランナーの目標を追跡しながら、実行可能でなければならないポリシーとゴールのペアを選択します。 モジュール型目標条件ポリシファミリーのためのエネルギーベースのポリシオーケストレータであるEPOを開発した。 各方針について、EPOは低レベルの目標に対して合成エネルギーを学習し、低いエネルギーはより高い実現可能性とより正確な目標実現に対応する。 EPOは実行時に各ポリシの目標を洗練し、最低エネルギーのポリシ-ゴールペアを実行する。 エネルギーは政策固有のものであるため、既存の政策や集中型スケジューラを再訓練することなく、独自のエネルギーモデルを学ぶことで新しい政策を組み込むことができる。 シミュレーションでは、EPOは、エネルギースコアに基づいてポリシーを選択的に切り替える前に、ポリシー固有の目標を精錬することで、経験的精度・損耗トレードオフを改善する。 さらに、実際のヒューマノイドのロコ操作タスクにおいて、同じ凍結ポリシーとエネルギーモデルのシミュレート・トゥ・リアル展開を実証する。 プロジェクトウェブサイト:https://yewr.github.io/epo

関連論文リスト

• Doob-Based Generative Policy Optimization [37.01070068216679]
  DoobPOは、Doobの$h$-transformを利用して生成ポリシーの微調整を行うフレームワークである。 本研究では,DoobPOが競争拡散・フローポリティクスベースラインに対して高い性能を発揮することを示す。
  論文  参考訳（メタデータ） (2026-10-20T23:31:50Z)
• World-Model Policy Arbiter for Goal-Conditioned Reinforcement Learning [19.962556041262435]
  WMPA(World-Model Policy Arbiter)は、学習された状態空間の世界モデルにおいて、各フリーズポリシーをロールアウトするテストタイムフレームワークである。 WMPAは、次の仲裁のラウンドの前に、短いコミットメント間隔で最高スコアのポリシーを実行する。 マクロ平均の成功率は、データセット毎に選択された最良のポリシーによって達成された44%から58%に改善され、12データセットに対して統計的に有意な増加をもたらしている。
  論文  参考訳（メタデータ） (2026-10-07T21:41:33Z)
• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• Auction-Based Online Policy Adaptation for Evolving Objectives [0.7734726150561088]
  目的が同じ家族から生まれる多目的強化学習問題について考察する。 本稿では,各目的を自己中心的なローカルポリシーで支援するモジュラーフレームワークを提案する。 この問題を汎用ゲームにすることで、自己中心的なローカルポリシーをいかに計算できるかを示す。
  論文  参考訳（メタデータ） (2026-04-02T15:17:20Z)
• PolicyFlow: Policy Optimization with Continuous Normalizing Flow in Reinforcement Learning [6.836651088754774]
  PolicyFlowは、CNFベースの強化学習アルゴリズムである。 表現力のあるCNFポリシーをPPOスタイルの目的と統合し、フルフローパスに沿って可能性評価を行う。 PolicyFlowは、簡単な経路に沿って速度場の変動を利用して重要度を近似し、訓練安定性を損なうことなく計算オーバーヘッドを削減する。
  論文  参考訳（メタデータ） (2026-02-01T11:08:09Z)
• Imitating Graph-Based Planning with Goal-Conditioned Policies [72.61631088613048]
  本稿では,目標目標条件ポリシにサブゴール条件ポリシを蒸留する自己シミュレーション方式を提案する。 提案手法は,既存の目標条件付きRL手法のサンプル効率を大幅に向上させることができることを実証的に示す。
  論文  参考訳（メタデータ） (2023-03-20T14:51:10Z)
• Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in Latent Space [76.46113138484947]
  汎用ロボットは、現実世界の非構造環境において困難なタスクを完了するために、多様な行動レパートリーを必要とする。 この問題に対処するため、目標条件強化学習は、コマンド上の幅広いタスクの目標に到達可能なポリシーを取得することを目的としている。 本研究では,長期的課題に対する目標条件付き政策を実践的に訓練する手法であるPlanning to Practiceを提案する。
  論文  参考訳（メタデータ） (2022-05-17T06:58:17Z)
• Goal-Conditioned Reinforcement Learning with Imagined Subgoals [89.67840168694259]
  我々は、複雑なタスクの学習を容易にするために、想像上のサブゴールをポリシー学習に組み込むことを提案する。 想像上のサブゴールは、政策と批判を同時に訓練する独立したハイレベルな政策によって予測される。 複雑なロボットナビゲーションと操作タスクに対する我々のアプローチを評価し、既存の手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-01T15:30:59Z)
• Composable Energy Policies for Reactive Motion Generation and Reinforcement Learning [25.498555742173323]
  モジュラーモーション生成のための新しいフレームワークであるComposable Energy Policies(CEP)を紹介します。 CEPは、一連のリアクティブポリシーの製品に対する最適化によってコントロールアクションを計算する。 CEPは自然に強化学習の問題に適応し、階層的な方法で、以前はどんな分布でも統合できるようにします。
  論文  参考訳（メタデータ） (2021-05-11T11:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。