論文の概要: FIRE-VLA: Failure-Informed Self-Evolution for Vision-Language-Action Models in Autonomous Driving

• arxiv url: http://arxiv.org/abs/2608.13395v1
• Date: Thu, 13 Aug 2026 15:53:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.584652
• Title: FIRE-VLA: Failure-Informed Self-Evolution for Vision-Language-Action Models in Autonomous Driving
• Title（参考訳）: FIRE-VLA:自律運転におけるビジョン・ランゲージ・アクションモデルのためのフェールインフォームド・セルフエボリューション
• Abstract要約: グループ相対ポリシー最適化は、各ロールアウトグループ内の報酬差から学習する。 Fire-VLAは、未解決の失敗を次のポリシーの特権的な監督に変換する。 150の保持されたnuScenesシーンの6,019の例では、FIRE-VLAは同等の単一サンプルプランニングを維持している。
• 参考スコア（独自算出の注目度）: 1.4298580363875282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning improves autonomous-driving vision-language-action (VLA) models by evaluating trajectories sampled from the current policy. Group relative policy optimization (GRPO) learns from reward differences within each rollout group. When all sampled trajectories are poor, this relative signal can rank failures without identifying behavior outside the failed region. We introduce FIRE-VLA, a failure-informed self-evolution framework that converts such unresolved failures into privileged supervision for the next policy. Low-reward, low-diversity groups trigger self-distillation from a frozen round-start copy of the same model. Teacher and student have the same parameter scale, but only the teacher observes the hidden future trajectory. Supervision follows the student's generated prefix and is restricted to answer tokens, while GRPO remains active for every group. The updated policy supplies the teacher for the next round, allowing the routed failure distribution to change with the policy without requiring a larger external teacher. Starting from the same Qwen2.5-VL-3B SFT checkpoint, the comparison matches student rollout and policy-update counts. On 6,019 examples from 150 held-out nuScenes scenes, FIRE-VLA retains comparable single-sample planning, reduces G=4 mean L2 from 1.848 to 1.500 m, and lowers evaluation-persistent failure prevalence from 13.03% to 11.20%. The reduction in mean error arises mainly from rare severe rollouts rather than uniform improvement across ordinary trajectories.
• Abstract（参考訳）: 強化学習は、現在のポリシーからサンプリングされた軌跡を評価することにより、自律型視覚言語行動(VLA)モデルを改善する。 グループ相対ポリシー最適化(GRPO)は、各ロールアウトグループ内の報酬差から学習する。 すべてのサンプル軌道が貧弱な場合、この相対的な信号は、失敗した領域の外での振る舞いを特定することなく、障害をランク付けすることができる。 FIRE-VLAは、未解決の障害を次のポリシーの特権的な監督に変換する、フェールインフォームドな自己進化フレームワークである。 低退化低ダイバーシティ群は、同じモデルの凍結されたラウンドスタートコピーから自己蒸留を誘導する。 教師と生徒は同じパラメータ尺度を持つが、教師だけが隠れた将来の軌跡を観察する。 Supervisionは、学生が生成したプレフィックスに従い、トークンに応答することに限定され、GRPOはすべてのグループでアクティブである。 改訂された方針は、教師に次のラウンドを供給し、より大きな外部教師を必要とせずに、ルートされた障害分布をポリシーで変更できるようにする。 同じQwen2.5-VL-3B SFTチェックポイントから始まるこの比較は、学生のロールアウトとポリシー更新数にマッチする。 保持された150のnuScenesシーンの6,019の例では、FIRE-VLAは同等の単一サンプル計画を維持し、G=4の平均L2を1.848から1.500mに減少させ、13.03%から11.20%に低下させる。 平均誤差の低減は主に、通常の軌道を横断する均一な改善よりも、稀な厳密なロールアウトから生じる。

関連論文リスト

• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• Prism-GRPO: Faster VLA Policy Optimization via Splitting Same-outcome Groups [14.712224182088327]
  二進的な成功報酬の下では、ロールアウトがすべて成功またはすべて失敗するグループは、ゼロの優位性を持ち、動的サンプリングによって破棄される。 そこで我々はPrism-GRPOを導入し,重み付けされた軌道レベルの実行品質スコアでバイナリ結果の報酬を増大させる。 品質スコアは、シミュレータのコンタクト、実行されたアクション、視覚的な観察から導き出すことができ、タスク固有の進捗報酬を避けることができる。
  論文  参考訳（メタデータ） (2026-08-18T06:44:16Z)
• I-SDPO: Instance-Level Adaptive Self-Distillation Policy Optimization [5.536267204193318]
  グループ相対ポリシー最適化は、ロールアウトグループ内の報酬差から学習するが、サンプリングされた応答が正しくない場合に有用な相対信号を受け取らない。 原始的な自己蒸留は、密集したトークンの監督によってこのギャップを埋めることができますが、トレーニングを通じて適用することで、異なる障害モードを生成します。 I-SDPO (Instance-Level Adaptive Self-Distillation Policy Optimization) を導入する。
  論文  参考訳（メタデータ） (2026-08-13T08:37:24Z)
• WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
  WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。 アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。 凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
  論文  参考訳（メタデータ） (2026-08-10T11:22:53Z)
• Learning More from Less: Reinforcement Learning from Hindsight [19.802783289526598]
  強化学習(Reinforcement Learning, RL)は、視覚-言語-行動モデル(VLA)の訓練後モデルに使用される。 我々は、実際に達成したタスクに対するロールアウトの失敗を評価して、後向きの学習をVLAの訓練後のRLにもたらすLearning from Hindsight(LfH)を紹介する。
  論文  参考訳（メタデータ） (2026-07-10T02:17:41Z)
• RL Forgets! Towards Continual Policy Optimization [57.4336338996653]
  継続的なポストトレーニングは、進化するタスクに視覚言語モデルを適用するための中心的なパラダイムになりつつある。 最近の研究は、強化学習が本質的に忘れやすいという信念から、教師付き微調整よりも強化学習を好んでいる。 我々は,事前タスク動作KL目標に基づくリプレイフリーフレームワークである継続ポリシー最適化(CPO)を提案する。
  論文  参考訳（メタデータ） (2026-07-05T15:46:11Z)
• Deterministic Decisions for High-Stakes AI. A Zero-Egress Pipeline with the Deployability of RAG and the Accuracy of Machine Learning [0.0]
  インターベンションバイアス(英語: Intervention bias)は、大規模言語モデル教育アドバイザリーエージェントの以前には確立されていなかった障害モードである。 教師付き政策学習は、このバイアスを排除していることを示す。 LLM-as-judge score is blind to intervention bias, rewarding fluent over-prescription rather than decision quality。
  論文  参考訳（メタデータ） (2026-06-28T08:58:17Z)
• CIGPO: Contextual Information-Gain Policy Optimization for Multi-Turn Evidence-Reading LLM Agents [1.4298580363875282]
  結果のみの強化学習によるマルチターンエビデンス読解エージェントのトレーニングは、中間旋回が直接クレジットをほとんど受け取らないため不安定である。 Qwen2.5-3B-InstructによるHotpotQA実験では、GRPOは最初(標準F1 0.430)改善されたが、その後100%フォーマット違反の出力に崩壊する。 本研究では,各ターン当たりの報酬を中間的エビデンス読解ターンに割り当てることで,グループ報酬分布が1つの値に崩壊するのを防ぐ,分散テキスト戦略を提案する。
  論文  参考訳（メタデータ） (2026-06-26T11:50:29Z)
• Self-Distilled Policy Gradient [51.95967256628261]
  都市の自己蒸留は、スパース・リワード強化学習のための密集した監督源として有望である。 SDPGは,グループ相対検証の利点と正規化標準偏差を組み合わせた,自己蒸留型政策段階のフレームワークである。
  論文  参考訳（メタデータ） (2026-06-02T02:31:13Z)
• Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
  Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。 複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T09:20:03Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。