論文の概要: Towards Robust Vision-Language Reasoning: A Multi-Stage Optimization Pipeline with Masked Diffusion Model
- arxiv url: http://arxiv.org/abs/2611.15238v1
- Date: Wed, 11 Nov 2026 09:30:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.093014
- Title: Towards Robust Vision-Language Reasoning: A Multi-Stage Optimization Pipeline with Masked Diffusion Model
- Title(参考訳): ロバストビジョンランゲージ推論に向けて:マスク付き拡散モデルを用いた多段最適化パイプライン
- Abstract要約: 我々はMasked Diffusion Drive (MD-Drive) を開発し、最適化されていないモデルよりも29.7%向上した。
NAVSIMクローズドループベンチマークとnuScenesおよびDriveCoTオープンループデータセットの実験では、MD-Driveが同じアーキテクチャで自己回帰VLMベースラインより優れていることが示されている。
- 参考スコア(独自算出の注目度): 9.076108339669641
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Discrete diffusion generation is emerging as a competitive alternative to autoregressive generation by denoising the entire token sequence through iterative refinement. Its global planning and progressive correction capabilities are particularly well suited to autonomous driving. However, transferring this generation paradigm from general-purpose settings to driving introduces substantial domain gaps in both training and inference. To unlock its potential, we propose a multi-stage optimization pipeline for standard vision-language model architectures, without auxiliary action experts or specialized mixture-of-experts Transformer, spanning post-training and inference. During supervised fine-tuning, we optimize the representation of planning inputs to suppress hallucinations in task responses. During reinforcement learning, we introduce metric-guided diversity filtering to identify stronger learning starting points and improve policy exploration. At inference time, we propose Dynamic Autonomous Driving Decoding (DAD), which adaptively adjusts decoding modes according to scene complexity. Based on this pipeline, we develop Masked Diffusion Drive (MD-Drive), improving its performance by 29.7\% over the unoptimized model. Experiments on the NAVSIM closed loop benchmark and the nuScenes and DriveCoT open loop datasets show that MD-Drive outperforms autoregressive VLM baselines with the same architecture, while achieving a more favorable balance between performance and computational cost than systems with different architectures through discrete diffusion training and inference.
- Abstract(参考訳): 離散拡散生成は、反復的精錬によってトークンシーケンス全体を飾ることによって自己回帰生成の競合的な代替として出現している。
グローバルな計画とプログレッシブな修正機能は、自動運転に特に適している。
しかし、この生成パラダイムを汎用的な設定から実行に移すことは、トレーニングと推論の両方においてかなりのドメインギャップをもたらす。
そこで本研究では,視覚言語モデルアーキテクチャの多段階最適化パイプラインを提案する。
教師付き微調整中、タスク応答における幻覚を抑制するために、計画入力の表現を最適化する。
強化学習において,より強力な学習開始点を特定し,政策探索を改善するために,計量誘導型多様性フィルタリングを導入する。
推論時にシーンの複雑さに応じてデコードモードを適応的に調整する動的自律運転復号(DAD)を提案する。
このパイプラインに基づいてMasked Diffusion Drive (MD-Drive) を開発し、最適化されていないモデルよりも29.7%向上した。
NAVSIMクローズドループベンチマークとnuScenesおよびDriveCoTオープンループデータセットの実験では、MD-Driveは同じアーキテクチャで自己回帰VLMベースラインよりも優れており、離散拡散トレーニングと推論によって異なるアーキテクチャを持つシステムよりもパフォーマンスと計算コストのバランスが良好である。
関連論文リスト
- Large Language Models as a Universal Searcher for Open-World Automated Machine Learning [50.595117146046256]
コンフィグレーションを共同で最適化する汎用大規模言語モデル(LLM)ベースのAutoMLフレームワークを提案する。
我々は、多様なAutoML設計選択を普遍的な離散シーケンスに変換する統一的な数値符号化方式であるNCodeを提案する。
提案するフレームワークは,汎用的なオープンワールド機械学習最適化に向けて,スケーラブルで汎用的で解釈可能な経路を提供する。
論文 参考訳(メタデータ) (2026-11-09T17:58:38Z) - WAM-Diff2: Hierarchical AR-to-Diffusion Distillation for Highly Efficient Autonomous Driving VLA [27.102605117827398]
VLA(Vision-Language-Action)モデルは、エンドツーエンドの自動運転の顕著なパラダイムとして登場した。
それらは、シーケンシャルな自己回帰的復号から生じる高い計算遅延と露出バイアスによって制約される。
WAM-Diff2は3段階階層戦略を利用したマルチタスク離散拡散VLAフレームワークである。
論文 参考訳(メタデータ) (2026-08-02T06:45:16Z) - Diffusion-APO: Trajectory-Aware Direct Preference Alignment for Video Diffusion Transformers [12.948398661304184]
Diffusion-APOは、ビデオ拡散モデルと人間の意図を一致させる軌跡認識アルゴリズムである。
オンラインランキング、半オンラインアンカー、オフラインリファインメント、蒸留対応ドリフト補正を統合した統一かつモジュール化されたRLHFフレームワークを導入する。
本研究では,Diffusion-APOが視覚的品質と指示の基準線を一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2026-05-08T09:37:46Z) - HAD: Combining Hierarchical Diffusion with Metric-Decoupled RL for End-to-End Driving [51.268878540511054]
我々は階層的拡散政策を備えたエンドツーエンドの計画フレームワークであるHADを提案する。
我々は,NAVSIMとHUGSIMの両方でHADが新たな最先端性能を実現することを示す。
論文 参考訳(メタデータ) (2026-04-04T04:12:47Z) - MTDrive: Multi-turn Interactive Reinforcement Learning for Autonomous Driving [12.330414519761524]
軌道計画は自動運転における中核的な課題である。
強化学習によるMLLMは、"ロングテール"シナリオに対処する上で、有望であることを示している。
我々は,MLLMが環境フィードバックに基づいて軌道を反復的に洗練できるマルチターンフレームワークMTDriveを提案する。
論文 参考訳(メタデータ) (2026-01-30T12:47:55Z) - WAM-Diff: A Masked Diffusion VLA Framework with MoE and Online Reinforcement Learning for Autonomous Driving [9.719456684859606]
WAM-Diffは、マスク拡散を利用して、将来のエゴ軌道を表す離散シーケンスを洗練するフレームワークである。
NAVSIM-v1では91.0PDMS, NAVSIM-v2では89.7Sを達成し, 自律運転におけるマスク拡散の有効性を示した。
論文 参考訳(メタデータ) (2025-12-06T10:51:53Z) - DiFSD: Ego-Centric Fully Sparse Paradigm with Uncertainty Denoising and Iterative Refinement for Efficient End-to-End Self-Driving [55.53171248839489]
我々は、エンドツーエンドの自動運転のためのエゴ中心の完全スパースパラダイムであるDiFSDを提案する。
特に、DiFSDは主にスパース知覚、階層的相互作用、反復的な運動プランナーから構成される。
nuScenesとBench2Driveデータセットで実施された実験は、DiFSDの優れた計画性能と優れた効率を実証している。
論文 参考訳(メタデータ) (2024-09-15T15:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。