論文の概要: AWLS: Advantage-Weighted Latent Steering for One-Step Generative Robotic Manipulation Policies
- arxiv url: http://arxiv.org/abs/2610.27736v1
- Date: Tue, 20 Oct 2026 06:58:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.679362
- Title: AWLS: Advantage-Weighted Latent Steering for One-Step Generative Robotic Manipulation Policies
- Title（参考訳）: AWLS: ワンステップ生成ロボットマニピュレーションポリシのためのアドバンテージウェイト遅延ステアリング
- Abstract要約: 本稿では,デコーダを更新することなく,凍結した1ステップ生成操作ポリシーを改善するためのオフラインポストトレーニング手法を提案する。
AWLSは、ポリシーの潜伏雑音に対する観測条件付き残留補正である残留雑音整形器を学習し、有利に重み付けられた行動再構成目的で訓練する。
実験により、AWLSは、事前訓練された行動からのドリフトを制限しながら、凍結基本方針よりも改善することが示された。
- 参考スコア（独自算出の注目度）: 5.905615730512829
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human-collected real-world robotic manipulation demonstrations often contain mixed-quality trajectories, including hesitant, indirect, or inefficient action segments. While diffusion- and flow-based policies can model such multimodal data, standard behavior cloning (BC) assigns equal likelihood to all demonstrated actions and may therefore reproduce suboptimal modes. Offline RL value estimates offer a natural signal for biasing policies toward higher-value behavioral modes, but directly fine-tuning the generative policy or using critic gradients for policy steering can amplify critic errors and induce prior drift. We propose Advantage-Weighted Latent Steering (AWLS), an offline post-training method for improving frozen one-step generative manipulation policies without updating their decoders. AWLS learns a residual noise shaper, an observation-conditioned residual correction to the policy's latent noise, and trains it with an advantage-weighted action reconstruction objective. The advantages are detached, scale-normalized, and used only as supervised weights on demonstrated actions, avoiding critic-gradient policy updates while preserving fast single-step inference. We further introduce a rollout-free decoder-sensitivity criterion for selecting pretrained checkpoints that remain responsive to latent-noise perturbations. Experiments on simulated and real-world robotic manipulation tasks with clean and mixed-quality demonstrations show that AWLS improves over the frozen base policy while limiting drift from the pretrained behavior prior. Project page: https://awls-corl2026.github.io/
- Abstract（参考訳）: 人間による実世界のロボット操作のデモは、しばしばヘシタット、間接的、非効率なアクションセグメントを含む混合品質の軌道を含む。
拡散とフローに基づくポリシーはそのようなマルチモーダルなデータをモデル化できるが、標準行動クローニング(BC)は全ての実証された行動に等しく等しく割り振る舞うため、亜最適モードを再現することができる。
オフラインのRL値推定は、高価値な行動モードに対してポリシーをバイアスする自然な信号を提供するが、生成ポリシーを直接微調整したり、ポリシーステアリングの批判勾配を使用したりすることで、批判の誤りを増幅し、事前のドリフトを誘発することができる。
本稿では,デコーダを更新することなく,凍結した一段階生成操作ポリシーを改善するオフラインポストトレーニング手法であるAdvantage-Weighted Latent Steering (AWLS)を提案する。
AWLSは、ポリシーの潜伏雑音に対する観測条件付き残留補正である残留雑音整形器を学習し、有利に重み付けられた行動再構成目的で訓練する。
利点は分離され、スケールが正規化され、高速な単一ステップ推論を維持しながら、批判的な段階的なポリシー更新を避けながら、実証行動の監督的な重み付けとしてのみ使用される。
さらに,遅延雑音の摂動に応答する事前学習されたチェックポイントを選択するために,ロールアウトフリーなデコーダ感度基準を導入する。
実世界のロボット操作のシミュレーションと、クリーンで混合品質のデモによる実験により、AWLSは、事前訓練された行動からのドリフトを制限しながら、凍結された基本方針よりも改善されていることが示された。
プロジェクトページ: https://awls-corl2026.github.io/
関連論文リスト
- Beyond Noise Steering: Dual-Latent Space Reinforcement Learning for Generative Robot Policy [13.530890681678619]
事前訓練された生成ロボットポリシーは、デモの前に表現行動を学ぶ。
既存の強化学習法はノイズ空間のみを操るが、生成過程中に中間的な動作表現を変調することができない。
そこで本研究では,凍結発生器内の表現レベル制御で初期ノイズの操舵を補完する新しいDual-Latent Space Reinforcement Learningフレームワークを提案する。
論文 参考訳（メタデータ） (2026-09-10T09:04:04Z) - RoMAN-Flow: Taming Autoregressive Normalizing Flows for Offline Reinforcement Learning in Robotic Manipulation [36.16163751472016]
オフライン強化学習フレームワークは、ロボット操作にAR-NFポリシーを実用的なものにする。
RoMAN-Flowはサンプリング不要で有利な可能性の目標を採用している。
シミュレーションされた操作ベンチマークと実世界のロボットプラットフォームによる実験は、RoMAN-Flowが競合ポリシーのパフォーマンスを達成することを実証している。
論文 参考訳（メタデータ） (2026-08-20T16:07:56Z) - IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。
IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。
政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
論文 参考訳（メタデータ） (2026-08-11T08:20:02Z) - Improving Robotic Generalist Policies via Flow Reversal Steering [92.97477771370428]
汎用ポリシーは多様なロボットデータセットから幅広いスキルを学ぶことができる。
新しい課題を解決し、改善するためには、ポリシーのリッチな振る舞いから適切なアクションを推論し、呼び出す方法が必要です。
本稿では,フローリバーサルステアリング (FRS) を提案し,フローポリシーを逆に通すことで,最適だが合理的な動作をとる手法を提案し,それらを一般の動作モードにマッピングする。
論文 参考訳（メタデータ） (2026-06-11T17:59:45Z) - Lagrangian Perturbation Diffusion Steering: Latent Reinforcement Learning for Generative Policies [5.170807667319543]
復号化前にコンパクトな雑音空間摂動を学習することにより、凍結生成ポリシーを改善する軽量適応法を提案する。
RoboMimic操作、OpenAI Gymロコモーション、Adroit dexterous操作ベンチマークの他、LP-DSはサンプル効率、成功、リターンを改善しながら、制約のないノイズ空間ステアリングよりも高いアクション空間エントロピーを維持している。
論文 参考訳（メタデータ） (2026-05-31T10:40:28Z) - One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。
本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。
実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
論文 参考訳（メタデータ） (2026-05-21T08:25:27Z) - Discrete Flow Matching for Offline-to-Online Reinforcement Learning [10.112779201155005]
DRIFTは、オフラインで事前訓練された連続時間マルコフ連鎖(CTMC)ポリシーを更新するオンラインの微調整手法である。
大規模離散的なアクション空間に対して、参照ポリシーロールアウトからサンプリングされたアクションの小さなサブセット上でアクターを更新する候補セット近似を導入する。
離散的動作RLタスクに対する実験により,本手法が全タスクに対して安定したオフライン-オンライン改善を実現することを示す。
論文 参考訳（メタデータ） (2026-05-12T16:44:02Z) - Latent Policy Steering through One-Step Flow Policies [34.06099184809882]
オフライン強化学習(RL)により、ロボットはリスクを伴わないオフラインデータセットから学習することができる。
遅延ポリシーステアリング(LPS)は、一段階のMeanFlowポリシを通じて、原アクション空間のQ段階をバックプロパゲートすることで、高忠実な遅延ポリシーの改善を可能にする。
OGBenchと現実世界のロボットタスク全体で、LPSは最先端のパフォーマンスを達成し、行動的クローン化と強力な潜在的ステアリングベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-03-05T15:38:08Z) - Posterior Behavioral Cloning: Pretraining BC Policies for Efficient RL Finetuning [87.81738284453013]
まず,標準行動クローニング (BC) が実証者の行動のカバレッジを確保するのに失敗することを理論的に示す。
次に、観測された実演を正確に適合させる代わりに、実証者の行動の後部分布をモデル化する政策を訓練することを示した。
このポリシーは、デモ隊の行動の報道を確実にし、より効果的な微調整を可能にする。
論文 参考訳（メタデータ） (2025-12-18T18:59:17Z) - Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。
我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
論文 参考訳（メタデータ） (2025-12-02T14:42:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。