論文の概要: Posterior Optimization with Clipped Objective for Bridging Efficiency and Stability in Generative Policy Learning

• arxiv url: http://arxiv.org/abs/2604.01860v1
• Date: Thu, 02 Apr 2026 10:15:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-03 14:21:10.677283
• Title: Posterior Optimization with Clipped Objective for Bridging Efficiency and Stability in Generative Policy Learning
• Title（参考訳）: ジェネレーティブポリシー学習におけるブリッジ効率と安定性のためのクラッピング対象を用いた後部最適化
• Authors: Yuhui Chen, Haoran Li, Zhennan Jiang, Yuxing Qin, Yuxuan Wan, Weiheng Liu, Dongbin Zhao,
• Abstract要約: Clipped Objective (POCO) は、ポリシー改善を時間的アクションチャンクに適した後部推論問題として定式化する原則的なRLフレームワークである。 POCOは破滅的な政策崩壊を防ぎ、SOTAベースラインを上回り、現実世界のタスクで96.7%の成功率を達成した。
• 参考スコア（独自算出の注目度）: 22.708956698352704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expressive generative models have advanced robotic manipulation by capturing complex, multi-modal action distributions over temporally extended trajectories. However, fine-tuning these policies via RL remains challenging due to instability and sample inefficiency. We introduce Posterior Optimization with Clipped Objective (POCO), a principled RL framework that formulates policy improvement as a posterior inference problem tailored for temporal action chunks. Through an Expectation-Maximization procedure, POCO distills a reward-weighted implicit posterior into the policy without likelihood estimation. Furthermore, POCO adopts an offline-to-online paradigm that anchors online exploration to pre-trained priors, and its model-agnostic design scales to fine-tune large VLA models without architectural modifications. Evaluations across 7 simulation benchmarks and 4 contact-rich real-world tasks demonstrate that POCO prevents catastrophic policy collapse, outperforms SOTA baselines, and achieves a 96.7% success rate on real-world tasks. Videos are available at our project website https://cccedric.github.io/poco/.
• Abstract（参考訳）: 表現的生成モデルは、時間的に拡張された軌道上の複雑な多モーダルな行動分布をキャプチャすることで、高度なロボット操作を行う。 しかしながら、これらのポリシーをRLで微調整することは、不安定性とサンプルの非効率性のために依然として困難である。 本稿では、時間的アクションチャンクに適した後部推論問題としてポリシー改善を定式化する原則的RLフレームワークである、Clipped Objective (POCO) を用いた後部最適化を導入する。 期待-最大化法により、POCOは報酬重み付き暗黙の後方を推定することなく、ポリシーに蒸留する。 さらに、POCOはオフラインからオフラインのパラダイムを採用し、事前訓練された事前学習にオンライン探索を固定し、そのモデルに依存しない設計スケールは、アーキテクチャの変更なしに大規模なVLAモデルを微調整する。 7つのシミュレーションベンチマークと4つのコンタクトリッチな現実世界タスクによる評価は、POCOが破滅的な政策崩壊を防ぎ、SOTAベースラインを上回り、現実世界タスクで96.7%の成功率を達成したことを示している。 ビデオはプロジェクトのWebサイトhttps://cccedric.github.io/poco/.comで公開されている。

関連論文リスト

• Latent Policy Steering through One-Step Flow Policies [34.06099184809882]
  オフライン強化学習(RL)により、ロボットはリスクを伴わないオフラインデータセットから学習することができる。 遅延ポリシーステアリング(LPS)は、一段階のMeanFlowポリシを通じて、原アクション空間のQ段階をバックプロパゲートすることで、高忠実な遅延ポリシーの改善を可能にする。 OGBenchと現実世界のロボットタスク全体で、LPSは最先端のパフォーマンスを達成し、行動的クローン化と強力な潜在的ステアリングベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-03-05T15:38:08Z)
• IPD: Boosting Sequential Policy with Imaginary Planning Distillation in Offline Reinforcement Learning [13.655904209137006]
  オフラインプランニングをデータ生成,教師付きトレーニング,オンライン推論にシームレスに組み込む新しいフレームワークである textbfImaginary Planning Distillation (IPD) を提案する。 まず,オフラインデータから不確実性対策と準最適値関数を備えた世界モデルを学習する。 従来の手動で調整した戻り値関数を準最適値関数に置き換えることで、IDDは推論時の意思決定安定性と性能を改善する。
  論文  参考訳（メタデータ） (2026-03-04T17:05:39Z)
• Model-Based Policy Adaptation for Closed-Loop End-to-End Autonomous Driving [54.46325690390831]
  本稿では,事前学習したE2E運転エージェントのロバスト性と安全性を高めるための汎用フレームワークとして,モデルベースポリシー適応(MPA)を提案する。 MPAは、ジオメトリ一貫性のあるシミュレーションエンジンを用いて、まず様々な対物軌道を生成する。 MPAは拡散ベースのポリシーアダプタを訓練し、基本方針の予測を洗練させ、Q値モデルを多段階に分けて長期的な結果を評価する。
  論文  参考訳（メタデータ） (2025-11-26T17:01:41Z)
• Bootstrap Off-policy with World Model [59.129118672069644]
  ブートストラップループを通じて計画と非政治学習を緊密に統合するフレームワークであるBOOMを提案する。 BOOMは、トレーニングの安定性と最終的なパフォーマンスの両方において、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-11-01T06:33:04Z)
• BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping [69.74252624161652]
  適応クリッピング(BAPO)を用いたBAlanced Policy Optimizationを提案する。 BAPOはクリッピングバウンダリを動的に調整し、適応的に正と負のコントリビューションを再バランスさせ、エントロピーを保持し、RL最適化を安定化させる。 AIME 2024とAIME 2025ベンチマークでは、7B BAPOモデルがSkyWork-OR1-7Bのようなオープンソースモデルを上回っています。
  論文  参考訳（メタデータ） (2025-10-21T12:55:04Z)
• Fixing That Free Lunch: When, Where, and Why Synthetic Data Fails in Model-Based Policy Optimization [3.8532441307199963]
  本稿では, モデルベースポリシー最適化(MBPO)に注目した。 結果のフェールモードに対処することで、以前は達成不可能だったポリシーの改善が可能になることを示す。
  論文  参考訳（メタデータ） (2025-10-01T20:54:51Z)
• Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
  本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。 本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。 本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T09:05:46Z)
• Learning Robust Policies for Generalized Debris Capture with an Automated Tether-Net System [2.0429716172112617]
  本稿では,政策最適化アプローチとネット力学シミュレーションを統合した強化学習フレームワークを提案する。 状態遷移モデルは、状態推定と起動動作に合成不確実性を組み込むために検討される。 トレーニングされたポリシーは、個々のシナリオ上で実行される信頼性ベースの最適化で得られたものに近いキャプチャパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-01-11T20:09:05Z)
• MOPO: Model-based Offline Policy Optimization [183.6449600580806]
  オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。 既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。 本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-27T08:46:41Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。