論文の概要: The Blind Spot of Adaptation: Quantifying and Mitigating Forgetting in Fine-tuned Driving Models
- arxiv url: http://arxiv.org/abs/2604.04857v1
- Date: Mon, 06 Apr 2026 17:02:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:19.298095
- Title: The Blind Spot of Adaptation: Quantifying and Mitigating Forgetting in Fine-tuned Driving Models
- Title(参考訳): 適応の盲点:微調整運転モデルにおける予測の定量化と緩和
- Authors: Runhao Mao, Hanshi Wang, Yixiang Yang, Qianli Ma, Jingmeng Zhou, Zhipeng Zhang,
- Abstract要約: これにより、自動運転における破滅的な忘れを定量化するために特別に設計された最初のベンチマークが可能になる。
本稿では,重み空間からプロンプト空間へ適応させることにより,このトレードオフを回避する新しいフレームワークであるDrive Expert Adapter(DEA)を提案する。
DEAは、シーン固有の手がかりに基づいて異なる知識専門家を通して推論を動的にルーティングし、モデルの基本パラメータを損なうことなく、駆動タスクのパフォーマンスを向上させる。
- 参考スコア(独自算出の注目度): 19.946556797493155
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The integration of Vision-Language Models (VLMs) into autonomous driving promises to solve long-tail scenarios, but this paradigm faces the critical and unaddressed challenge of catastrophic forgetting. The very fine-tuning process used to adapt these models to driving-specific data simultaneously erodes their invaluable pre-trained world knowledge, creating a self-defeating paradox that undermines the core reason for their use. This paper provides the first systematic investigation into this phenomenon. We introduce a new large-scale dataset of 180K scenes, which enables the first-ever benchmark specifically designed to quantify catastrophic forgetting in autonomous driving. Our analysis reveals that existing methods suffer from significant knowledge degradation. To address this, we propose the Drive Expert Adapter (DEA), a novel framework that circumvents this trade-off by shifting adaptation from the weight space to the prompt space. DEA dynamically routes inference through different knowledge experts based on scene-specific cues, enhancing driving-task performance without corrupting the model's foundational parameters. Extensive experiments demonstrate that our approach not only achieves state-of-the-art results on driving tasks but also effectively mitigates catastrophic forgetting, preserving the essential generalization capabilities that make VLMs a transformative force for autonomous systems. Data and model are released at FidelityDrivingBench.
- Abstract(参考訳): VLM(Vision-Language Models)を自律走行システムに統合することで、ロングテールシナリオの解決が期待できるが、このパラダイムは破滅的な忘れ込みという批判的で非装飾的な課題に直面している。
これらのモデルを駆動特有のデータに適応するために使用される非常に微細な調整プロセスは、その価値ある事前訓練された世界の知識を同時に損なうことによって、その使用のコアな理由を損なう自己破壊パラドックスを生み出します。
本稿では,この現象に関する最初の系統的研究を行う。
これにより、自動運転における破滅的な忘れを定量化するために特別に設計された最初のベンチマークが可能になる。
分析の結果,既存の手法は知識劣化に悩まされていることが明らかとなった。
そこで我々は,このトレードオフを回避するための新しいフレームワークであるDrive Expert Adapter (DEA)を提案する。
DEAは、シーン固有の手がかりに基づいて異なる知識専門家を通して推論を動的にルーティングし、モデルの基本パラメータを損なうことなく、駆動タスクのパフォーマンスを向上させる。
広範囲にわたる実験により,本手法は運転作業における最先端の成果を達成するだけでなく,VLMを自律システムに変革をもたらす重要な一般化能力を保ちながら,破滅的な忘れを効果的に軽減することが示された。
データとモデルはFidelityDrivingBenchでリリースされている。
関連論文リスト
- AD-R1: Closed-Loop Reinforcement Learning for End-to-End Autonomous Driving with Impartial World Models [75.214287449744]
我々は,Impartial World Modelを中心に構築されたポストトレーニング政策改善のためのフレームワークを紹介する。
私たちの主な貢献は、このモデルに危険について正直であることを教えることです。
大規模な実験を通じて、我々のモデルは失敗を予測する上で、ベースラインを著しく上回っていることを実証する。
論文 参考訳(メタデータ) (2025-11-25T13:57:24Z) - Discrete Diffusion for Reflective Vision-Language-Action Models in Autonomous Driving [55.13109926181247]
離散拡散による安全な軌道生成のためのリフレクション機構を統合した学習ベースのフレームワークであるReflectDriveを紹介する。
我々のアプローチの中心は、勾配のない反復的な自己補正を行う、安全を意識した反射機構である。
本手法は目標条件付き軌道生成から始まり,マルチモーダル運転動作をモデル化する。
論文 参考訳(メタデータ) (2025-09-24T13:35:15Z) - ImagiDrive: A Unified Imagination-and-Planning Framework for Autonomous Driving [64.12414815634847]
ビジョン・ランゲージ・モデル(VLM)とドライビング・ワールド・モデル(DWM)は、この課題のさまざまな側面に対処する強力なレシピとして独立して登場した。
我々は、VLMベースの運転エージェントとDWMベースのシーン想像装置を統合した、新しいエンドツーエンドの自動運転フレームワークであるImagiDriveを提案する。
論文 参考訳(メタデータ) (2025-08-15T12:06:55Z) - ReCogDrive: A Reinforced Cognitive Framework for End-to-End Autonomous Driving [49.07731497951963]
ReCogDriveは、エンドツーエンドの自動運転のための新しい強化認知フレームワークである。
我々は、人間のドライバーのシーケンシャルな認知過程を模倣する階層的なデータパイプラインを導入する。
次に、VLMの学習した運転先を拡散プランナーに注入することで、言語行動ミスマッチに対処する。
論文 参考訳(メタデータ) (2025-06-09T03:14:04Z) - Black-Box Adversarial Attack on Vision Language Models for Autonomous Driving [65.61999354218628]
我々は、自律運転システムにおいて、視覚言語モデル(VLM)をターゲットとしたブラックボックス敵攻撃を設計する第一歩を踏み出す。
セマンティクスの生成と注入による低レベル推論の分解を目標とするカスケーディング・アディバーショナル・ディスラプション(CAD)を提案する。
本稿では,高レベルリスクシナリオの理解と構築に代理VLMを活用することで,動的適応に対処するリスクシーンインジェクションを提案する。
論文 参考訳(メタデータ) (2025-01-23T11:10:02Z) - VLM-AD: End-to-End Autonomous Driving through Vision-Language Model Supervision [17.36342349850825]
教師としての視覚言語モデル(VLM)は、追加の監督を提供することで訓練を強化する。
VLM-ADは、nuScenesデータセットの計画精度と衝突率の大幅な改善を実現している。
論文 参考訳(メタデータ) (2024-12-19T01:53:36Z) - Improving Batch Normalization with TTA for Robust Object Detection in Self-Driving [26.038699227233227]
本稿では、自律運転における物体検出のためのTTAによるバッチ正規化を改善するための2つの新しいロバスト手法を提案する。
本稿では,一般探索エントロピー最小化法(GSEM)に基づく学習可能なBN層を提案する。
本稿では,モデルが最適解を反復的に探索することを奨励する,セマンティック一貫性に基づく2段階適応戦略を提案する。
論文 参考訳(メタデータ) (2024-11-28T01:59:34Z) - DiFSD: Ego-Centric Fully Sparse Paradigm with Uncertainty Denoising and Iterative Refinement for Efficient End-to-End Self-Driving [55.53171248839489]
我々は、エンドツーエンドの自動運転のためのエゴ中心の完全スパースパラダイムであるDiFSDを提案する。
特に、DiFSDは主にスパース知覚、階層的相互作用、反復的な運動プランナーから構成される。
nuScenesとBench2Driveデータセットで実施された実験は、DiFSDの優れた計画性能と優れた効率を実証している。
論文 参考訳(メタデータ) (2024-09-15T15:55:24Z) - GenFollower: Enhancing Car-Following Prediction with Large Language Models [11.847589952558566]
我々は、これらの課題に対処するために、大規模言語モデル(LLM)を活用する新しいゼロショットプロンプトアプローチであるGenFollowerを提案する。
我々は,車追従動作を言語モデリング問題として再編成し,不均一な入力をLLMのための構造化プロンプトに統合する。
オープンデータセットの実験は、GenFollowerの優れたパフォーマンスと解釈可能な洞察を提供する能力を示している。
論文 参考訳(メタデータ) (2024-07-08T04:54:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。