論文の概要: Balancing Signal and Variance: Adaptive Offline RL Post-Training for VLA Flow Models

• arxiv url: http://arxiv.org/abs/2509.04063v1
• Date: Thu, 04 Sep 2025 09:48:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-05 20:21:10.122139
• Title: Balancing Signal and Variance: Adaptive Offline RL Post-Training for VLA Flow Models
• Title（参考訳）: バランス信号とばらつき:VLA流れモデルに対する適応的オフラインRLポストトレーニング
• Authors: Hongyin Zhang, Shiyuan Zhang, Junxi Jin, Qixin Zeng, Yifan Qiao, Hongchao Lu, Donglin Wang,
• Abstract要約: 本稿では,VLA(Vision-Language-Action)フローモデルに対するオフラインRLポストトレーニング目標を提案する。 次に、効率よく実現可能なオフラインRL微調整アルゴリズム -- Adaptive Reinforced Flow Matching (ARFM) を誘導する。 ARFMは優れた一般化、堅牢性、少数ショット学習、継続的な学習性能を示す。
• 参考スコア（独自算出の注目度）: 29.090093552573766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) models based on flow matching have shown excellent performance in general-purpose robotic manipulation tasks. However, the action accuracy of these models on complex downstream tasks is unsatisfactory. One important reason is that these models rely solely on the post-training paradigm of imitation learning, which makes it difficult to have a deeper understanding of the distribution properties of data quality, which is exactly what Reinforcement Learning (RL) excels at. In this paper, we theoretically propose an offline RL post-training objective for VLA flow models and induce an efficient and feasible offline RL fine-tuning algorithm -- Adaptive Reinforced Flow Matching (ARFM). By introducing an adaptively adjusted scaling factor in the VLA flow model loss, we construct a principled bias-variance trade-off objective function to optimally control the impact of RL signal on flow loss. ARFM adaptively balances RL advantage preservation and flow loss gradient variance control, resulting in a more stable and efficient fine-tuning process. Extensive simulation and real-world experimental results show that ARFM exhibits excellent generalization, robustness, few-shot learning, and continuous learning performance.
• Abstract（参考訳）: フローマッチングに基づくビジョン・ランゲージ・アクション(VLA)モデルは汎用的なロボット操作タスクにおいて優れた性能を示した。 しかし、複雑な下流タスクにおけるこれらのモデルのアクション精度は不十分である。 重要な理由の1つは、これらのモデルは模倣学習の訓練後のパラダイムにのみ依存しているため、データ品質の分布特性をより深く理解することは困難である。 本稿では,VLAフローモデルに対するオフラインRL後トレーニングの目的を理論的に提案し,効率的なオフラインRL微調整アルゴリズムであるAdaptive Reinforced Flow Matching (ARFM)を提案する。 VLAフローモデル損失に適応的に調整されたスケーリング係数を導入することで、RL信号がフロー損失に与える影響を最適に制御する、バイアス分散トレードオフ目標関数を構築する。 ARFMはRLの利点保存と流量損失勾配分散制御を適応的にバランスさせ、より安定で効率的な微調整プロセスをもたらす。 大規模なシミュレーションと実世界の実験結果から、ARFMは優れた一般化、堅牢性、少数ショット学習、継続的な学習性能を示すことが示された。

関連論文リスト

• Inference-Time Alignment Control for Diffusion Models with Reinforcement Learning Guidance [46.06527859746679]
  本稿では,Dejin-Free Guidance(CFG)に適応する推論時間法であるReinforcement Learning Guidance(RLG)を紹介する。 RLGは、RLの細調整されたモデルの性能を、人間の好み、構成制御、圧縮、テキストレンダリングなど、様々なRLアルゴリズム、下流タスクで一貫して改善している。 提案手法は,拡散モデルアライメント推論の強化と制御のための,実用的で理論的に健全な解を提供する。
  論文  参考訳（メタデータ） (2025-08-28T17:18:31Z)
• Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic Shuffle [53.239242017802056]
  強化学習(Reinforcement Learning, RL)は、マルチモーダル大言語モデル(MLLM)の推論能力を高めるための効果的なポストトレーニングパラダイムとして登場した。 しかしながら、現在のRLパイプラインは、アドバンテージ・コラプシング(Advantage Collapsing)とロールアウト・サイレンシング(Rollout Silencing)という2つの未解決の問題によって、トレーニングの非効率に悩まされることが多い。 軌道サンプリングとバッチ合成を動的に再構成することにより、RLの微調整効率を向上する、シンプルだが原則化されたフレームワークであるShuffle-R1を提案する。
  論文  参考訳（メタデータ） (2025-08-07T17:53:47Z)
• Behavior Injection: Preparing Language Models for Reinforcement Learning [24.46625106928253]
  強化微調整(Reinforcement fine-tuning, RFT)は、大規模言語モデル(LLM)の推論能力を高めるための強力なポストトレーニング手法として登場した。 LLM は RFT に非常に矛盾しない応答が可能である。 RLに先立って適用されたタスクに依存しないデータ拡張方式である振舞い注入を提案する。
  論文  参考訳（メタデータ） (2025-05-25T00:54:50Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [75.70017261794422]
  本稿では,オンライン強化学習(RL)をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では, 1 つの主要な戦略を用いる:(1) 決定論的正規方程式 (ODE) を, 1 つの時点における原モデルの限界分布に一致する等価な微分方程式 (SDE) に変換するODE-to-SDE 変換と、(2) 元の推論タイムステップ数を保ちながらトレーニングの段階を減らし,
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• Communication-Efficient Wireless Federated Fine-Tuning for Large-Scale AI Models [13.742950928229078]
  Low-Rank Adaptation (LoRA) は、完全に微調整された大型モデルではなく、コンパクトで低ランクな行列を訓練することでこれらの問題に対処する。 本稿では,学習性能と通信効率の両方を最適化する無線フェデレーションLoRAファインチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-01T06:15:38Z)
• Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining [74.83412846804977]
  強化学習(RL)に基づく微調整は、訓練後の言語モデルにおいて重要なステップとなっている。 数理推論のためのRLファインタニングを、スクラッチから完全にトレーニングモデルを用いて体系的にエンドツーエンドに研究する。
  論文  参考訳（メタデータ） (2025-04-10T17:15:53Z)
• Traffic expertise meets residual RL: Knowledge-informed model-based residual reinforcement learning for CAV trajectory control [1.5361702135159845]
  本稿では,知識インフォームドモデルに基づく残留強化学習フレームワークを提案する。 交通専門家の知識を仮想環境モデルに統合し、基本力学にIntelligent Driver Model(IDM)、残留力学にニューラルネットワークを使用する。 本稿では,従来の制御手法を残差RLと組み合わせて,スクラッチから学習することなく,効率的な学習と政策最適化を容易にする新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-30T16:16:57Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。