論文の概要: RedFlow: Redirect Failure into Action-Level Corrections for Flow-matching VLA Policy

• arxiv url: http://arxiv.org/abs/2607.27782v1
• Date: Thu, 30 Jul 2026 07:14:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.440008
• Title: RedFlow: Redirect Failure into Action-Level Corrections for Flow-matching VLA Policy
• Title（参考訳）: RedFlow: フローマッチングVLAポリシのためのアクションレベル補正への障害のリダイレクト
• Abstract要約: RedFlowは、フローマッチングVLAポリシのための、きめ細かいオフライン強化学習フレームワークである。 RedFlowは、フローマッチングVLAポリシのアクションレベルの修正監視に障害エクスペリエンスをリダイレクトする。 最先端のオフラインRLベースラインを一貫して上回る。
• 参考スコア（独自算出の注目度）: 24.413419742450913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Flow-matching Vision-Language-Action (VLA) policies have shown strong potential for robotic manipulation but often suffer from compounding errors caused by distribution shifts during deployment. While offline reinforcement learning (RL) provides a practical way to improve deployed policies using rollout data, existing methods either ignore failure data or exploit it only at the trajectory level, resulting in low learning efficiency and persistent errors. We propose **RedFlow**, a fine-grained offline RL framework that redirects failure experiences into action-level corrective supervision for flow-matching VLA policies. RedFlow consists of two key components: (1) a **Context-Aware Corrective Matching** mechanism that identifies failure-inducing actions and retrieves successful alternatives from similar contexts as corrective targets, and (2) an **Adaptive Redirection Objective** that jointly reinforces successful actions, suppresses undesirable ones, and redirects recoverable failures toward corrective targets. By converting both successful and failed experiences into dense supervision, RedFlow enables robust recovery learning from mixed-quality data. Experiments on the LIBERO benchmark and three real-world manipulation tasks show that RedFlow consistently outperforms state-of-the-art offline RL baselines, improving the real-world success rate from 56.7% to 74.7%. It also matches strong on-policy methods (PPO, GRPO, and DDPO) while requiring roughly an order of magnitude fewer training samples.
• Abstract（参考訳）: フローマッチング型ビジョン・ランゲージ・アクション(VLA)ポリシーは、ロボット操作の強い可能性を示しているが、デプロイメント中に分散シフトによって生じる複雑なエラーに悩まされることが多い。 オフライン強化学習(RL)はロールアウトデータを使用したデプロイポリシを改善する実用的な方法を提供するが、既存の手法では障害データを無視したり、軌道レベルでのみ利用することで、学習効率が低下し、永続的なエラーが発生する。 フローマッチングVLAポリシに対して,障害経験をアクションレベルの修正監視にリダイレクトする,詳細なオフラインRLフレームワークである**RedFlow**を提案する。 a * *Context-Aware Corrective Matching* メカニズムは、障害誘発アクションを特定し、同じコンテキストから正しいターゲットとして成功した代替品を検索する。 成功したエクスペリエンスと失敗したエクスペリエンスを密集した監視に変換することで、RedFlowは、混合品質データから堅牢なリカバリ学習を可能にする。 LIBEROベンチマークの実験と3つの実世界の操作タスクにより、RedFlowは最先端のオフラインRLベースラインを一貫して上回り、実世界の成功率は56.7%から74.7%に向上した。 また、強力なオンライン手法(PPO、GRPO、DDPO)と一致し、トレーニングサンプルの桁数を約1桁減らした。

関連論文リスト

• Reversal Q-Learning [57.43956630070019]
  逆Q-ラーニング(Reversal Q-learning)は、事前データに基づいてフローポリシーをトレーニングする、非政治的なRLアルゴリズムである。 RQLは、最先端のフローベースオフラインRLアルゴリズムと比較して、平均的なオフラインRLパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2026-06-16T05:56:10Z)
• Beyond Action Residuals: Real-World Robot Policy Steering via Bottleneck Latent Reinforcement Learning [42.74142065376427]
  本稿では,Z-Perturbation Reinforcement Learning (ZPRL)を提案する。 現実世界では、ZPRLは模倣ベースポリシーよりも4つのタスクの平均成功率を33.7%向上させる。
  論文  参考訳（メタデータ） (2026-05-19T14:43:26Z)
• CreFlow: Corrective Reflow for Sparse-Reward Embodied Video Diffusion RL [56.969946199335716]
  本稿では,ポストトレーニング後のエンボディドビデオ生成モデルに対して,コンポジション制約に基づく報酬モデルを提案する。 提案するCreFlowは,2つの鍵となる設計を持つ新しいオンラインRLフレームワークである。
  論文  参考訳（メタデータ） (2026-05-14T02:18:58Z)
• RePO-VLA: Recovery-Driven Policy Optimization for Vision-Language-Action Models [90.39703013636868]
  RePO-VLAは、リカバリ駆動のポリシー最適化フレームワークである。 成功、回復、失敗の軌跡に異なる役割を割り当てる。 対人的な成功は、平均で20%から75%、実世界の規模で80%まで上昇する。
  論文  参考訳（メタデータ） (2026-05-10T08:24:05Z)
• Failing Forward: Adaptive Failure-Informed Learning for Vision-Language-Action Models [32.87104367896446]
  本稿では,拡散型および流路型VLAポリシーに対する適応的負のガイダンスとして,障害軌跡を利用するエンドツーエンドフレームワークを提案する。 AFILはトレーニング済みのVLAを使用して、オンラインの障害ロールアウトを生成する。 その後、デュアルアクションジェネレータ(DAG)を共同で訓練し、共通の視覚言語バックボーンを共有しながら、動作が成功し失敗する。
  論文  参考訳（メタデータ） (2026-05-08T19:57:11Z)
• Guided Flow Policy: Learning from High-Value Actions in Offline Reinforcement Learning [10.037416068775853]
  本稿では,多段階フローマッチングポリシと蒸留ワンステップアクタを結合したガイドフローポリシーを提案する。 アクターは、重み付けされた振る舞いのクローンを通じてフローポリシーを指示し、データセットから高価値なアクションのクローンに集中する。 この相互誘導により、GFPは144の状態およびピクセルベースのタスクで最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2025-12-03T17:05:58Z)
• One-Step Generative Policies with Q-Learning: A Reformulation of MeanFlow [56.13949180229929]
  ノイズを直接行動にマッピングするオフライン強化学習のための一段階の生成ポリシーを,MeanFlowの残留的な再構成を通じて導入する。 本手法はオフライン・オフライン両方の強化学習環境において高い性能を実現する。
  論文  参考訳（メタデータ） (2025-11-17T06:34:17Z)
• Double Check My Desired Return: Transformer with Target Alignment for Offline Reinforcement Learning [64.6334337560557]
  教師付き学習(RvS)による強化学習は、シーケンスモデリングタスクとしてオフラインRLをフレーム化する。 決定変換器(DT)は、実際の完了したリターンを特定のターゲットリターンと確実に整合させるのに苦労する。 そこで我々は,Offline RLの目標アライメントによる変換器の二重チェックを行う新しいアプローチであるDoctorを提案する。
  論文  参考訳（メタデータ） (2025-08-22T14:30:53Z)
• Boosting Offline Reinforcement Learning via Data Rebalancing [104.3767045977716]
  オフライン強化学習(RL)は、学習ポリシーとデータセットの分散シフトによって問題となる。 本稿では,データセットの再サンプリングが分散サポートを一定に保っているという観察に基づいて,オフラインRLアルゴリズムをシンプルかつ効果的に向上させる手法を提案する。 ReD(Return-based Data Re Balance)メソッドをダブします。これは10行未満のコード変更で実装でき、無視できる実行時間を追加します。
  論文  参考訳（メタデータ） (2022-10-17T16:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。