論文の概要: Fast Inference-Time Policy Refinement via Action-Affine World Models
- arxiv url: http://arxiv.org/abs/2611.15011v1
- Date: Wed, 11 Nov 2026 04:08:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.008047
- Title: Fast Inference-Time Policy Refinement via Action-Affine World Models
- Title(参考訳): アクションアフィン世界モデルによる高速な推論時ポリシーリファインメント
- Abstract要約: 当社のフレームワークは,行動に適応したポリシーのロールアウトから,局所的な行動感受性をオフラインで学習する。
オンラインの洗練には1つのモデル評価と1つのQP解決が必要です。
本フレームワークは評価ベースラインの中で最も高い成功率を達成し,制御ステップ毎の平均精錬オーバーヘッドは3.8ミリ秒に留まった。
- 参考スコア(独自算出の注目度): 6.693053011179296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Imitation policies can perform complex manipulation, yet small execution errors can accumulate and cause failure. Refinement can correct these errors, but existing approaches often require additional on-policy learning or costly online planning. Our key insight is that a pretrained policy already supplies a useful nominal behavior: refinement can focus on predicting how small action corrections change its outcome. We therefore learn this local response in a form that is cheap to optimize. Our \textit{action-affine world model} (A\textsuperscript{2}WM) learns local action sensitivities offline from action-perturbed policy rollouts. Given interaction history and a policy proposal, it predicts task-relevant geometry as a nominal trajectory plus a linear response to corrections. It predicts the full planning horizon directly, avoiding the propagation of intermediate errors through recursive model evaluations. Quadratic penalties on predicted task errors and linear correction constraints then yield a cheap convex quadratic program (QP). Online refinement requires one model evaluation and one QP solve, while both policy and model weights remain frozen. Across four simulated manipulation tasks, our framework achieves the highest success rate among evaluated baselines, adding only 3.8 ms of mean refinement overhead per control step, excluding base-policy sampling.
- Abstract(参考訳): 模倣ポリシーは複雑な操作を行うことができるが、小さな実行エラーが蓄積され、失敗を引き起こす可能性がある。
リファインメントはこれらのエラーを修正することができるが、既存のアプローチでは、追加の政治学習やコストのかかるオンラインプランニングが必要になることが多い。
私たちの重要な洞察は、事前訓練されたポリシーが、既に有用な名目的行動を提供していることです。
したがって、我々はこの局所的な応答を最適化のコストが安い形で学習する。
我々の \textit{action-affine world model} (A\textsuperscript{2}WM) は、アクション摂動ポリシーのロールアウトから、ローカルアクションの感度をオフラインに学習する。
インタラクション履歴とポリシーの提案を前提として、タスク関連幾何学を名目上の軌道として、修正に対する線形応答として予測する。
再帰的モデル評価により,中間誤差の伝播を回避し,計画の完全な水平線を直接予測する。
予測されたタスクエラーと線形補正の制約に対する2次罰則は、安価な凸二次プログラム(QP)をもたらす。
オンラインの洗練には1つのモデル評価と1つのQP解決が必要です。
提案手法は,4つの模擬操作タスク全体で評価ベースラインの最高成功率を達成し,基本政治サンプリングを除いて,制御ステップ毎の平均精錬オーバーヘッドを3.8ms加えるのみである。
関連論文リスト
- ORPA: Online Residual Policy Adaptation for Robot Manipulation Control with Human Feedback [1.711436622393758]
オンライン残留ポリシー適応(英語: Online Residual Policy Adaptation、ORPA)は、ロボット行動のフィードバック駆動による修正を可能にするフレームワークである。
ORPAは事前訓練された制御ポリシーを軽量でフィードバック条件付きモジュールで拡張し、関節空間内での残留調整を直接予測する。
ORPAをALOHAプラットフォームを用いて精度の高い操作タスクのセットで評価し、ベースライン制御ポリシやルールベースの逆運動学補正と比較して、小さな摂動による成功率と回復率の改善を実証した。
論文 参考訳(メタデータ) (2026-08-18T03:30:12Z) - The Role of Causality in Algorithmic Recourse [10.770213929153371]
アルゴリズム・リコースは、個人に行動可能な変化を与え、ハイテイクな分類設定で予測結果を改善することを目的としている。
既存のアプローチのほとんどは、変更が個人の真の資格を真に改善するかどうかを考慮せずに、モデルの予測にのみフォーカスする。
我々は、この障害モードを推論のための因果的パフォーマンスフレームワークによって形式化する。
論文 参考訳(メタデータ) (2026-07-30T16:42:51Z) - Aligning Flow Map Policies with Optimal Q-Guidance [50.514994916864275]
フローマップポリシは、任意のサイズのジャンプを学習することで、高速なアクション生成のために設計されている。
FLOW MAP Q-GUIDANCE (FMQ) は, 批判誘導型信頼領域制約の下でオフラインフローマップポリシーを適用するのに最適な, 原則付きクローズドフォーム学習ターゲットである。
FMQは、オフラインからオフラインまでのRLにおける最先端のパフォーマンスを達成し、平均成功率に対して21.3%の相対的な改善により、以前のワンステップポリシーMVPを上回っている。
論文 参考訳(メタデータ) (2026-05-12T17:12:29Z) - Posterior Optimization with Clipped Objective for Bridging Efficiency and Stability in Generative Policy Learning [22.708956698352704]
Clipped Objective (POCO) は、ポリシー改善を時間的アクションチャンクに適した後部推論問題として定式化する原則的なRLフレームワークである。
POCOは破滅的な政策崩壊を防ぎ、SOTAベースラインを上回り、現実世界のタスクで96.7%の成功率を達成した。
論文 参考訳(メタデータ) (2026-04-02T10:15:47Z) - FlowCorrect: Efficient Interactive Correction of Generative Flow Policies for Robotic Manipulation [0.7666240799116112]
FlowCorrectはモジュール型のインタラクティブな模倣学習アプローチで、フローマッチング操作ポリシのデプロイメント時適応を可能にする。
実際のロボットを4つのテーブルトップタスク(ピック・アンド・プレイス、注ぐ、カップアップライト、挿入)で評価した。
修正予算の低いFlowCorrectは、以前に失敗したケースで80%の成功率を達成した。
論文 参考訳(メタデータ) (2026-02-25T16:06:49Z) - Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。
本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。
アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
論文 参考訳(メタデータ) (2025-10-01T12:29:32Z) - Off-Policy Evaluation for Large Action Spaces via Policy Convolution [60.6953713877886]
ポリシ・コンボリューション(Policy Convolution)のファミリーは、アクション内の潜在構造を使用して、ログとターゲットポリシを戦略的に畳み込みます。
合成およびベンチマークデータセットの実験では、PCを使用する場合の平均二乗誤差(MSE)が顕著に改善されている。
論文 参考訳(メタデータ) (2023-10-24T01:00:01Z) - Offline Reinforcement Learning with On-Policy Q-Function Regularization [57.09073809901382]
ヒストリーデータセットと所望のポリシー間の分布シフトによって引き起こされる(潜在的に破滅的な)外挿誤差に対処する。
正規化により推定Q-関数を利用する2つのアルゴリズムを提案し、D4RLベンチマークに強い性能を示すことを示す。
論文 参考訳(メタデータ) (2023-07-25T21:38:08Z) - COptiDICE: Offline Constrained Reinforcement Learning via Stationary
Distribution Correction Estimation [73.17078343706909]
オフラインの制約付き強化学習(RL)問題。エージェントは、所定のコスト制約を満たしながら期待されるリターンを最大化するポリシーを計算し、事前に収集されたデータセットからのみ学習する。
定常分布空間におけるポリシーを最適化するオフライン制約付きRLアルゴリズムを提案する。
我々のアルゴリズムであるCOptiDICEは、コスト上限を制約しながら、利益に対する最適政策の定常分布補正を直接見積もる。
論文 参考訳(メタデータ) (2022-04-19T15:55:47Z) - Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。
本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。
この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
論文 参考訳(メタデータ) (2021-10-12T17:05:05Z) - An Offline Risk-aware Policy Selection Method for Bayesian Markov
Decision Processes [0.0]
Exploitation vs. Caution (EvC) はベイズ形式主義のモデル不確実性をエレガントに取り入れたパラダイムである。
我々は,多種多様なMDPクラスを提供する異なる離散的かつシンプルな環境において,最先端のアプローチでEvCを検証する。
テストシナリオでは、EvCは堅牢なポリシーを選択することができ、実践者にとって有用なツールとして際立っている。
論文 参考訳(メタデータ) (2021-05-27T20:12:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。