論文の概要: FlowPRO: Reward-Free Reinforced Fine-Tuning of Flow-Matching VLAs via Proximalized Preference Optimization

• arxiv url: http://arxiv.org/abs/2606.05468v1
• Date: Wed, 03 Jun 2026 21:47:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.420258
• Title: FlowPRO: Reward-Free Reinforced Fine-Tuning of Flow-Matching VLAs via Proximalized Preference Optimization
• Title（参考訳）: FlowPRO: 近似選好最適化によるフローマッチVLAの逆無強化微調整
• Authors: Yihao Wu, He Zhang, Junbo Tan, Xueqian Wang, Zhengyou Zhang,
• Abstract要約: FlowPROは、フローマッチングポリシーのための報酬なし、オフラインで強化された微調整フレームワークである。 本稿では,VLAモデルのフローマッチング動作ヘッドに適した優先最適化対象であるRPROを提案する。 FlowPROは最高成功率に達し、4つの代表的なベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 15.427278126226662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training Vision-Language-Action (VLA) models into policies that can be reliably deployed on real robots remains a major bottleneck. SFT and DAgger exploit failure signals only indirectly, and reward-based RL is bottlenecked by the difficulty of real-world reward design and of training reliable critics. We present FlowPRO, a reward-free offline reinforced fine-tuning framework for flow-matching VLAs. Algorithmically, we propose RPRO (Robotic Flow-matching Proximalized Preference Optimization), a preference-optimization objective tailored to the flow-matching action head of VLA models. RPRO pairs a contrastive optimizer with an explicit proximal regularizer that anchors the absolute magnitude of the implicit reward, thereby eliminating the reward-hacking failure mode of plain Flow-DPO. On the data side, a teleoperated intervention-and-rollback paradigm produces naturally paired positive and negative trajectories $(τ^w, τ^l)$ on a real robot from a single operator action; a Smooth Interpolation procedure, combined with batch mixing, then converts these sparse corrections into dense per-state supervision while preserving the base policy's capabilities. On four long-horizon bimanual tasks, FlowPRO attains the highest success rate, outperforming four representative baselines, and ablations confirm the contribution of each loss component.
• Abstract（参考訳）: トレーニング後のVision-Language-Action(VLA)モデルから、実際のロボットに確実にデプロイ可能なポリシへのモデルは、依然として大きなボトルネックである。 SFTとDAggerは障害信号のみを間接的に利用し、報酬ベースのRLは現実世界の報酬設計の難しさや信頼できる批評家の訓練によってボトルネックとなる。 本稿では,フローマッチングVLAのための非報酬型オフライン強化微調整フレームワークであるFlowPROを提案する。 アルゴリズムにより,VLAモデルのフローマッチング動作ヘッドに適した優先最適化対象であるRPRO(Robotic Flow-matching Proximalized Preference Optimization)を提案する。 RPROは、対照的なオプティマイザと、暗黙の報酬の絶対等級を固定する明示的な近位正規化器をペアリングすることにより、平易なフローDPOの報酬ハック障害モードを排除している。 データ側では、遠隔操作による介入とロールバックのパラダイムが、1つのオペレーターアクションから実際のロボットに$(τ^w, τ^l)$を自然なペアで生成する。 4つの長軸双対タスクにおいて、FlowPROは最高成功率に達し、4つの代表的ベースラインを上回り、各損失成分の寄与を確認する。

関連論文リスト

• Potential-Guided Flow Matching for Vision-Language-Action Policy Improvement [27.695600755960736]
  自己誘導型フローマッチングポリシであるForesightFlowを紹介した。 それぞれの生成されたアクションチャンクを、学習された成功可能性軌道で拡張する。 候補アクションをスコア付けし、外部の批評家なしで$K$の推論を可能にする。
  論文  参考訳（メタデータ） (2026-06-03T14:49:35Z)
• LoopVLA: Learning Sufficiency in Recurrent Refinement for Vision-Language-Action Models [13.30873593845724]
  LoopVLAは、表現の洗練、アクション予測、十分性推定を学習する、リカレントなVision-Language-Actionアーキテクチャである。 この結果から,LoopVLAはVLAポリシーの効率性向上のフロンティアを推し進め,パラメータを45%削減し,推論スループットを最大1.7倍向上させることを示した。
  論文  参考訳（メタデータ） (2026-05-11T03:51:22Z)
• V-GRPO: Online Reinforcement Learning for Denoising Generative Models Is Easier than You Think [90.69263509098948]
  本稿では,ELBOをベースとしたサロゲートとグループ相対ポリシー最適化アルゴリズムを統合した変分GRPOを提案する。 V-GRPOはテキストと画像の合成において最先端のパフォーマンスを実現し、MixGRPOよりも2倍のスピードアップ、DiffusionNFTより3倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-04-25T17:03:21Z)
• KAN We Flow? Advancing Robotic Manipulation with 3D Flow Matching via KAN & RWKV [15.840121055564405]
  Kan-We-Flowは3D操作のための軽量なバックボーンを構築するフローマッチングポリシーである。 我々の設計では、パラメータを86.8%削減し、高速ランタイムを維持し、Adroit、Meta-World、DexArtベンチマークで最先端の成功率を達成する。
  論文  参考訳（メタデータ） (2026-02-01T09:27:56Z)
• GDRO: Group-level Reward Post-training Suitable for Diffusion Models [55.948229011478304]
  グループレベルの報酬は、モデルを目標とする報酬と整合させるのに成功します。 Group-level Direct Reward Optimization (GDRO)は、グループレベルの報酬アライメントのための新しいトレーニング後のパラダイムである。 GDROは完全なオフライントレーニングをサポートし、画像ロールアウトサンプリングの大幅なコスト削減を実現する。 これは拡散サンプラー非依存であり、取得性に対するODE-to-SDE近似の必要性を排除している。
  論文  参考訳（メタデータ） (2026-01-05T11:47:18Z)
• Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
  VGPOは時間次元とグループ次元の両方で値の推定を再定義する。 スパース端末の報酬を密度の高いプロセス認識値推定に変換する。 標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
  論文  参考訳（メタデータ） (2025-12-13T16:31:26Z)
• Reinforcement Fine-Tuning of Flow-Matching Policies for Vision-Language-Action Models [7.316631310935769]
  VLA(Vision-Language-Action)モデルは、大規模なデモンストレーションを活用することで、強力な一般化を示している。 本研究では,FPOアルゴリズムを提案する。FPOアルゴリズムは,条件付きフローマッチングの目的に対して,サンプルごとの変化を生かして,重要サンプリングを再構築する。 LIBEROベンチマークのFPOとALOHAシミュレーションタスクを、教師付き、嗜好的、拡散的、自己回帰的オンラインRLに対して評価する。
  論文  参考訳（メタデータ） (2025-10-11T03:11:18Z)
• Human-assisted Robotic Policy Refinement via Action Preference Optimization [26.144183856600687]
  行動選好最適化(Action Preference Optimization、APO)は、視覚・言語・行動モデル(VLA)を人間の操作による選好アライメントによって洗練する手法である。 これを解決するために、APOは相互作用から導出される二元的望ましくない信号を用いた適応的再重み付けアルゴリズムを提案する。 シミュレーションと実世界のシナリオで行われた実験は、より優れた一般化とロバスト性を示す。
  論文  参考訳（メタデータ） (2025-06-08T13:14:18Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。