論文の概要: Vision-language Models for Driver Monitoring Systems: A Driver Activity Description Dataset

• arxiv url: http://arxiv.org/abs/2606.02273v1
• Date: Mon, 01 Jun 2026 13:59:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:32.185884
• Title: Vision-language Models for Driver Monitoring Systems: A Driver Activity Description Dataset
• Title（参考訳）: ドライバモニタリングシステムのための視覚言語モデル:ドライバアクティビティ記述データセット
• Abstract要約: 微妙なドライバー動作を理解することは、信頼性の高いドライバー監視システムを構築する上で不可欠である。 既存のビジョンモデル(VLM)は、一般的なデータセットに基づいてトレーニングされており、ドライバーの振る舞いの微妙な区別に苦慮している。 本稿では、Drive&Actデータセットの詳細な自然言語バージョンを作成することで、この制限に対処する。
• 参考スコア（独自算出の注目度）: 23.24793168118322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding subtle driver actions is essential for building reliable driver monitoring systems. Existing visionlanguage models (VLMs) are trained on general datasets and struggle to recognize fine distinctions in driver behaviors. This paper addresses this limitation by creating a detailed natural language version of the Drive&Act dataset. We evaluate three VLMs on our new benchmark using LLM-based scoring methods. Their performance on the new benchmark shows that they cannot reliably generate accurate fine-grained driver activity descriptions. Based on the labeled Drive&Act dataset we create a new Drive&Act description dataset containing finegrained descriptions to train VLMs on driver activity understanding. Cross dataset evaluation on the Driver Monitoring Dataset (DMD) shows that the VLM fine-tuned on our new Drive&Act description dataset generalizes well to actions in the DMD dataset. The VLM fine-tuned on our Drive&Act description dataset achieves an ACCR score of 76 outperforming the zero-shot VLM baseline with an ACCR score of 66. These findings demonstrate that adapting VLMs with richly described driver actions can significantly improve their ability to interpret driver behavior while also highlighting the need for more diverse datasets to support broader generalization in future applications. Our Drive&Act description dataset and code will be publicly available on GitHub.
• Abstract（参考訳）: 微妙なドライバー動作を理解することは、信頼性の高いドライバー監視システムを構築する上で不可欠である。 既存の視覚言語モデル(VLM)は、一般的なデータセットに基づいて訓練されており、運転者の行動の微妙な区別に苦慮している。 本稿では、Drive&Actデータセットの詳細な自然言語バージョンを作成することで、この制限に対処する。 LLMに基づくスコアリング手法を用いて,新しいベンチマークで3つのVLMを評価した。 新しいベンチマークでのパフォーマンスは、正確できめ細かなドライバーアクティビティ記述を確実に生成できないことを示している。 ラベル付きDrive&Actデータセットに基づいて、ドライバアクティビティ理解に基づいてVLMをトレーニングするためのきめ細かい記述を含む、新しいDrive&Act記述データセットを作成します。 ドライバモニタリングデータセット(DMD)のクロスデータセット評価は、新しいDrive&Act記述データセットに微調整されたVLMが、DMDデータセットのアクションによく適応していることを示している。 Drive&Act記述データセットで微調整したVLMは、ACCRスコアが76で、ゼロショットVLMベースラインを66で上回ります。 これらの結果から,ドライバ動作を豊かに記述したVLMを適用することで,ドライバ動作の解釈能力を大幅に向上するとともに,将来のアプリケーションにおける広範な一般化をサポートするための,より多様なデータセットの必要性を強調した。 Drive&Act記述データセットとコードはGitHubで公開されます。

関連論文リスト

• NARRATE: A Multimodal Real-World Australian Driving Dataset for Human-Centred Explanations in Automated Driving [14.607239446674479]
  既存の言語アノテーション付き駆動データセットは、主にオブザーバー書き、ポストホック、シミュレーションベース、センサー入力から生成される。 我々は、35人の経験豊富なドライバーと公道での運転インストラクターによる2,050件の注釈付きイベントからなるマルチモーダルな実世界のオーストラリア運転データセットであるNARRATEを紹介した。 各イベントは、同期されたビジュアル、ローカライゼーション、モーション、およびLiDARストリームで構成され、車内または/または後述のフリーテキスト説明と組み合わせられる。
  論文  参考訳（メタデータ） (2026-08-14T12:35:24Z)
• Bench2Drive-VL: Benchmarks for Closed-Loop Autonomous Driving with Vision-Language Models [50.22099309218635]
  自律運転においては、閉ループ評価はオープンループ評価よりも信頼性の高い検証方法として広く認識されている。 本稿では,VLM駆動における閉ループ評価を実現するBench2Drive-VLについて述べる。
  論文  参考訳（メタデータ） (2026-04-01T11:38:46Z)
• VLDrive: Vision-Augmented Lightweight MLLMs for Efficient Language-grounded Autonomous Driving [90.21844353859454]
  視覚コンポーネントを拡張した軽量MLLMアーキテクチャを特徴とする新しいアプローチを提案する。 VLDriveは、パラメータを81%削減しながら最先端の駆動性能を達成する。
  論文  参考訳（メタデータ） (2025-11-09T07:14:53Z)
• PDB-Eval: An Evaluation of Large Multimodal Models for Description and Explanation of Personalized Driving Behavior [21.53769783882118]
  本稿では、パーソナライズドドライバ動作の詳細な理解のためのベンチマークであるPDB-Evalを紹介する。 私たちのベンチマークは、PDB-XとPDB-QAの2つの主要コンポーネントで構成されています。 詳細な説明や説明に関する微調整MLLMは、MLLMと駆動領域のギャップを効果的に埋めることができる。
  論文  参考訳（メタデータ） (2025-07-24T14:33:06Z)
• CoVLA: Comprehensive Vision-Language-Action Dataset for Autonomous Driving [0.4371652524921044]
  CoVLA(Comprehensive Vision-Language-Action)データセットは、80時間以上にわたる現実世界の運転ビデオで構成されている。 このデータセットは、堅牢で解釈可能で、データ駆動の自動運転システムのためのフレームワークを確立する。
  論文  参考訳（メタデータ） (2024-08-19T09:53:49Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• DriveLM: Driving with Graph Visual Question Answering [57.51930417790141]
  本研究では,Webスケールデータに基づいて学習した視覚言語モデル(VLM)を,エンド・ツー・エンドの運転システムに統合する方法について検討する。 グラフVQAとエンドツーエンド駆動を併用するVLMベースラインアプローチ(DriveLM-Agent)を提案する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:12Z)
• Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving [6.728693243652425]
  大規模言語モデル(LLM)は、特に一般化と解釈可能性において、自動運転分野において有望であることを示している。 我々は,ベクトル化された数値を事前学習したLLMにマージして,運転状況における文脈理解を改善する,ユニークなオブジェクトレベルのマルチモーダルLLMアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-10-03T11:05:14Z)
• DriveGPT4: Interpretable End-to-end Autonomous Driving via Large Language Model [84.29836263441136]
  本研究は,マルチモーダル大言語モデル(MLLM)に基づく新しい解釈可能なエンドツーエンド自動運転システムであるDriveGPT4を紹介する。 DriveGPT4は、車両動作の解釈を促進し、関連する推論を提供し、ユーザによるさまざまな質問に効果的に対処する。
  論文  参考訳（メタデータ） (2023-10-02T17:59:52Z)
• DMD: A Large-Scale Multi-Modal Driver Monitoring Dataset for Attention and Alertness Analysis [54.198237164152786]
  視覚は運転監視システム(DMS)の最も豊かで費用対効果の高い技術である 十分に大規模で包括的なデータセットの欠如は、DMS開発の進展のボトルネックとなっている。 本稿では,実運転シナリオとシミュレーション運転シナリオを含む広範囲なデータセットであるドライバモニタリングデータセット(DMD)を紹介する。
  論文  参考訳（メタデータ） (2020-08-27T12:33:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。