論文の概要: Sample-Efficient Reinforcement Learning for Policy Improvement via Flow-Reversed Action Anchors

• arxiv url: http://arxiv.org/abs/2610.22852v1
• Date: Fri, 16 Oct 2026 02:51:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.735915
• Title: Sample-Efficient Reinforcement Learning for Policy Improvement via Flow-Reversed Action Anchors
• Title（参考訳）: フローリバースアクションアンカーによる政策改善のためのサンプル効率の良い強化学習
• Abstract要約: 一般的なロボットポリシーは、強力な行動優先を提供するが、デプロイメントレベルの信頼性とスループットを達成することは依然として困難である。 既存の手法は、連続的な作用空間としてノイズ空間を扱い、凍結流の整合性に適応する。 AnchorQを導入し、構造化された精錬可能な潜在動作表現を通じて、粗大なポリシー改善を可能にする。
• 参考スコア（独自算出の注目度）: 26.086098419491908
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Generalist robot policies offer strong behavioral priors, but achieving deployment-level reliability and throughput remains difficult. Reinforcement learning (RL) can improve these policies, yet its effectiveness is constrained by the cost of online interaction. Existing methods adapt frozen flow-matching policies by treating noise space as a continuous action space. We show that this behaviorally unstructured space makes exploration inefficient, often preventing these methods from extracting meaningful learning signals on challenging tasks. We introduce AnchorQ, which enables coarse-to-fine policy improvement through a structured, refinable latent action representation. At each decision step, AnchorQ uses flow reversal to map reference behaviors to state-conditioned latent anchors, samples local particles around those anchors, and applies value-guided sampling to explore promising refinements. Our analysis shows that anchors reduce identification complexity at the cost of support bias; particle refinement trades this bias against action-class complexity; and critic accuracy determines the reliability of KL-regularized, value-guided selection. Across simulated and real-world manipulation tasks, AnchorQ outperforms state-of-the-art post-training baselines in sample efficiency, delivering a 37% improvement in real-world success rate and 97% higher simulated task throughput under the same interaction budget. Additional visualizations are available on our website https://anchorq-rl.com/.
• Abstract（参考訳）: 一般的なロボットポリシーは、強力な行動優先を提供するが、デプロイメントレベルの信頼性とスループットを達成することは依然として困難である。 強化学習(RL)はこれらの政策を改善することができるが、その効果はオンラインインタラクションのコストに制約される。 既存の手法は、連続的な作用空間としてノイズ空間を扱い、凍結流の整合性に適応する。 本研究では,この非構造空間が探索の効率を損なうことを示し,これらの手法が課題に対して有意義な学習信号を抽出することを防止している。 AnchorQを導入し、構造化された精錬可能な潜在動作表現を通じて、粗大なポリシー改善を可能にする。 各決定ステップにおいて、AnchorQはフローリバーサルを使用して、状態条件付潜伏アンカーに参照挙動をマッピングし、それらのアンカーの周りの局所粒子をサンプリングし、有望な改善を探求するために値誘導サンプリングを適用する。 分析の結果、アンカーは支持バイアスのコストで識別複雑性を低減し、パーティクルリファインメントはこのバイアスをアクションクラスの複雑性と交換し、批判精度はKL規則化された値誘導選択の信頼性を決定する。 シミュレーションおよび実世界の操作タスク全体で、AnchorQは、最先端のトレーニング後のベースラインをサンプル効率で上回り、実世界の成功率を37%改善し、同じインタラクション予算の下でシミュレーションされたタスクスループットを97%向上させる。 さらなる視覚化は、私たちのWebサイト https://anchorq-rl.com/.com/で公開されています。

関連論文リスト

• IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
  IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。 IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。 政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
  論文  参考訳（メタデータ） (2026-08-11T08:20:02Z)
• FocalPolicy: Frequency-Optimized Chunking and Locally Anchored Flow Matching for Coherent Visuomotor Policy [75.32174422881958]
  FocalPolicyは、周波数局所的なチャンキングとAnchoredフローマッチングを組み合わせたビジュモータポリシーである。 本稿では,近位行動における時間領域のアライメントを監督する,近位複合目標を提案する。 フローマッチング学習において,信号の伝搬一貫性を目標とした局所的アンカーサンプリングを設計する。
  論文  参考訳（メタデータ） (2026-05-15T13:27:55Z)
• Q-learning with Adjoint Matching [58.78551025170267]
  本稿では,新しいTD-based reinforcement learning (RL)アルゴリズムであるAdjoint Matching (QAM) を用いたQ-learningを提案する。 QAMは、最近提案された生成モデリング手法であるadjoint matchingを活用することで、2つの課題を回避している。 オフラインとオフラインの両方のRLにおいて、ハードでスパースな報酬タスクに対する従来のアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-01-20T18:45:34Z)
• SeFA-Policy: Fast and Accurate Visuomotor Policy Learning with Selective Flow Alignment [7.446137164545049]
  選択フローアライメント(Selective Flow Alignment、SeFA)は、効率的かつ正確なビジュモータポリシー学習フレームワークである。 SeFAはこの課題を選択的フローアライメント戦略によって解決する。 推論遅延を98%以上削減しながら、精度と堅牢性を向上する。
  論文  参考訳（メタデータ） (2025-11-11T18:59:39Z)
• Q-STAC: Q-Guided Stein Variational Model Predictive Actor-Critic [12.837649598521102]
  本稿では,連続制御タスクのためのQ-guided STein variational model predictive Actor-Critic (Q-STAC)フレームワークを提案する。 本手法では,学習したQ値を直接目的とする制御シーケンスを最適化し,明示的なコスト関数設計の必要性を解消する。 2次元ナビゲーションとロボット操作タスクの実験は、Q-STACが最先端のアルゴリズムと比較して優れたサンプリング効率、堅牢性、最適性を達成することを示した。
  論文  参考訳（メタデータ） (2025-07-09T07:53:53Z)
• Contractive Dynamical Imitation Policies for Efficient Out-of-Sample Recovery [3.549243565065057]
  模倣学習(imitation learning)は、専門家の行動からポリシーを学ぶための、データ駆動型アプローチである。 OOS(Out-of-sample)領域では信頼性の低い結果が出る傾向がある。 本稿では,契約型力学系をモデルとした政策学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-10T14:28:18Z)
• Wasserstein Actor-Critic: Directed Exploration via Optimism for Continuous-Actions Control [41.7453231409493]
  Wasserstein Actor-Critic (WAC) は、Wasserstein Q-Learning (WQL) citepwqlにインスパイアされたアクター批判アーキテクチャである。 WACは、Q値の推定値の上限を最適化してポリシー学習プロセスを導くことによって、原則的な方法で探索を実施する。
  論文  参考訳（メタデータ） (2023-03-04T10:52:20Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。