論文の概要: Many Ways to Succeed: Diversity-Driven RL Fine-Tuning for VLA Generalization

• arxiv url: http://arxiv.org/abs/2610.09943v1
• Date: Wed, 07 Oct 2026 12:26:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.903427
• Title: Many Ways to Succeed: Diversity-Driven RL Fine-Tuning for VLA Generalization
• Title（参考訳）: VLA一般化のための多様性駆動型RLファインチューニング
• Abstract要約: 強化学習(RL)ファインチューニングは、クローズドループ体験を通じて視覚言語アクション(VLA)ポリシーを改善する。 我々の分析では、探査の選択的再構成が明らかにされている: RLの契約は世界中に分布するが、成功した軌道を多様化する。 そこで我々は,DRIVEを導入し,成功行動の多様性を明示的なRL目標に変換する。
• 参考スコア（独自算出の注目度）: 38.82169465691178
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) fine-tuning improves vision-language-action (VLA) policies through closed-loop experience, yet generalization beyond the fine-tuning distribution remains limited. Our analysis reveals a selective reshaping of exploration: RL contracts behavior globally, yet diversifies successful trajectories, elicits success with fewer rollouts, and covers more of the latent task-valid solution space than supervised fine-tuning. Broader successful-mode coverage may provide alternative strategies under distribution shifts. Inspired by this, we introduce DRIVE (Diversity-driven RL fIne-tuning for VLA gEneralization), which turns successful-behavior diversity into an explicit RL objective. DRIVE groups rollouts under matched task conditions, compares their trajectories with temporal alignment, and derives a success-conditioned intrinsic reward from relative behavioral diversity. This design encourages broader coverage of feasible solutions without rewarding diverse failures or superficial timing differences. Across LIBERO-Plus, ManiSkill3, and RoboTwin 2.0, DRIVE improves the average out-of-domain (OOD) performance over vanilla RL fine-tuning by 5.3 points on $π_0$ and 2.0 points on $π_{0.5}$. On a dual-arm AgileX PiPER-X platform, DRIVE further increases average OOD success from 64.1% to 73.3% (+9.2 points), demonstrating gains that persist under physical deployment.
• Abstract（参考訳）: 強化学習(RL)の微調整は、閉ループ体験を通じて視覚言語反応(VLA)ポリシーを改善するが、微調整分布以外の一般化は限定的である。 我々の分析は、探索の選択的再構成を明らかにしている。RL契約のグローバルな振る舞いは、成功した軌道を多様化し、ロールアウトを少なくして成功を招き、監督された微調整よりも潜在的なタスク正解空間をカバーしている。 より広範に成功したモードカバレッジは、分散シフトの下で代替戦略を提供するかもしれない。 DRIVE (Diversity-driven RL fIne-tuning for VLA gEneralization) を導入し, 成功行動の多様性を明示的なRL目標に変換する。 DRIVEグループは、一致したタスク条件の下でロールアウトし、彼らの軌道と時間的アライメントを比較し、成功条件の内在的な報酬を相対的な行動多様性から導き出す。 この設計は、多様な失敗や表面的なタイミングの違いに報いることなく、実現可能なソリューションの広範なカバレッジを促進する。 LIBERO-Plus, ManiSkill3, RoboTwin 2.0 全体で、DRIVE はバニラ RL のファインチューニングよりも平均外域(OOD)性能を$π_0$ で5.3ポイント、$π_{0.5}$ で2.0ポイント改善する。 デュアルアームのAgileX PiPER-Xプラットフォーム上では、DRIVEは平均OOD成功率を64.1%から73.3%(+9.2ポイント)に引き上げ、物理的なデプロイメントで継続する利益を示す。

関連論文リスト

• Unified Trajectory Matching Policy Optimization: Diverse T2I Generation and VLA Generalization [70.25625746203777]
  Reward-maximizing reinforcement learning (RL) は、テキスト・トゥ・イメージ(T2I)生成のための後流拡散とフローポリシーに広く用いられている。 T2Iでは、報酬最大化RLは基準KLやエントロピー正規化の下でもポリシーモードの崩壊を引き起こす。 拡散・流路政策のためのRLポストトレーニングフレームワークであるUnified Trajectory Matching Policy Optimization (Uni-TMPO)を紹介する。
  論文  参考訳（メタデータ） (2026-09-28T09:13:03Z)
• RL$^2$-VLA: Adaptive RL Latent Compositional Steering with Test-Time Scaling for Vision-Language-Action Models [8.012549967082832]
  RL2$はVision-Language-Action(VLA)モデルの適応型推論時ステアリングフレームワークである。 VLAアクションエキスパートから抽出した表現的潜伏者に基づく軽量オフラインRLポリシーを訓練する。 この構成的ステアリング戦略は、大規模な模倣学習の行動先行と、オフラインRLによって誘導される行動多様性を結合する。
  論文  参考訳（メタデータ） (2026-07-29T14:49:56Z)
• GD$^2$PO: Mitigating Multi-Reward Conflicts via Group-Dynamic reward-Decoupled Policy Optimization [54.596224644751565]
  訓練後強化学習(RL)は多次元報酬に頼り、包括的能力を育成する。 これを解決するために、グループ報酬分離政策最適化(GDPO)のような既存の手法は、総合的なスコアを独立した報酬グループに分解し、各グループ内でRL損失を個別に計算する。 本稿では,GD$2$PO(Group-Dynamic reward-Decoupled Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-06-15T14:19:28Z)
• Beyond Mode Collapse: Distribution Matching for Diverse Reasoning [69.88237286885065]
  GRPOのようなオンライン強化学習手法はモード崩壊に悩まされる。 このことは、逆KL最小化のモード探索行動に由来することを示す。 KL最小化の原理的近似によりモード崩壊を防止するDMPOを提案する。
  論文  参考訳（メタデータ） (2026-05-19T07:13:00Z)
• What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents [70.6980022118038]
  強化学習は、緩やかなタスク報酬からLLMエージェントを訓練することができるが、長期的なクレジット割り当ては依然として困難である。 既存の方法は、ステップごとの環境フィードバックを完全に活用することなく、軌道レベルの報酬やプロキシ信号に依存している。 環境重み付け学習フレームワークであるSERLを紹介する。
  論文  参考訳（メタデータ） (2026-05-19T07:00:55Z)
• Devil is in Narrow Policy: Unleashing Exploration in Driving VLA Models [31.413394596106926]
  模倣学習(IL)は探索を崩壊させ、その後の強化学習の可能性を制限する傾向がある。 本稿では,2段階設計によるエクスプロイト・エクスプローラージレンマを軽減するフレームワークであるCurious-VLAを提案する。 RL(Adaptive Diversity-Aware Sampling)では,高多様性サンプルを優先し,Spanning Driving Reward(SDR)を導入する。 Navsimベンチマークでは、Curious-VLAはSoTA結果(PDMS 90.3,S 85.4)とBest-of-N PDMS 94.8を達成し、探索可能性の解放の有効性を実証した。
  論文  参考訳（メタデータ） (2026-03-06T09:01:34Z)
• IG-RFT: An Interaction-Guided RL Framework for VLA Models in Long-Horizon Robotic Manipulation [2.7426517026004196]
  VLA(Vision-Language-Action)モデルは、ジェネラリストのロボット政策において大きな可能性を示している。 彼らは、分散シフトと高品質なデモンストレーションの不足により、新しい現実世界の領域における長期の複雑なタスクへの一般化に苦慮している。 本稿では,フローベースVLAモデル用に設計された対話型強化微細チューニングシステムIG-RFTを提案する。
  論文  参考訳（メタデータ） (2026-02-24T09:19:50Z)
• Self-Improving Vision-Language-Action Models with Data Generation via Residual RL [29.682761652941963]
  Probe, Learn, Distill (PLD)は3段階のプラグイン・アンド・プレイフレームワークで、視覚言語アクションモデルを改善する。 PLDはLIBEROでほぼ飽和した99%のタスク成功、SimplerEnvで50%以上、実世界のFrankaとYAMのアーム操作タスクで100%成功している。
  論文  参考訳（メタデータ） (2025-10-30T06:24:04Z)
• MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
  VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。 我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。 数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
  論文  参考訳（メタデータ） (2025-09-25T14:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。