論文の概要: ScVLM: Enhancing Vision-Language Model for Safety-Critical Event Understanding

• arxiv url: http://arxiv.org/abs/2410.00982v2
• Date: Mon, 13 Jan 2025 16:27:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:25:02.139525
• Title: ScVLM: Enhancing Vision-Language Model for Safety-Critical Event Understanding
• Title（参考訳）: ScVLM:安全クリティカルイベント理解のためのビジョンランゲージモデル
• Authors: Liang Shi, Boyu Jiang, Tong Zeng, Feng Guo,
• Abstract要約: SCEの重症度とタイプを分類するために,教師付きおよびコントラスト学習技術を統合した新しいハイブリッド手法であるScVLMを紹介する。 提案手法は,第2戦略ハイウェイ研究プログラム自然言語駆動学習データセットから8,600以上のSCEを用いて訓練し,評価する。
• 参考スコア（独自算出の注目度）: 5.914751204116458
• License:
• Abstract: Accurately identifying, understanding and describing traffic safety-critical events (SCEs), including crashes, tire strikes, and near-crashes, is crucial for advanced driver assistance systems, automated driving systems, and traffic safety. As SCEs are rare events, most general vision-language models (VLMs) have not been trained sufficiently to link SCE videos and narratives, which could lead to hallucinations and missing key safety characteristics. Here, we introduce ScVLM, a novel hybrid methodology that integrates supervised and contrastive learning techniques to classify the severity and types of SCEs, as well as to generate narrative descriptions of SCEs. This approach utilizes classification to enhance VLMs' comprehension of driving videos and improve the rationality of event descriptions. The proposed approach is trained on and evaluated by more than 8,600 SCEs from the Second Strategic Highway Research Program Naturalistic Driving Study dataset, the largest publicly accessible driving dataset with videos and SCE annotations. The results demonstrate the superiority of the proposed approach in generating contextually accurate event descriptions and mitigating VLM hallucinations. The code will be available at https://github.com/datadrivenwheels/ScVLM.
• Abstract（参考訳）: 事故、タイヤストライク、ほぼクラッシュを含む交通安全クリティカルイベント(SCE)の正確な識別、理解、記述は、先進運転支援システム、自動運転システム、交通安全にとって不可欠である。 SCEは稀な出来事であるため、ほとんどの一般的な視覚言語モデル(VLM)は、SCEビデオと物語をリンクするのに十分な訓練を受けておらず、幻覚と主要な安全特性を欠く可能性がある。 本稿では,SCEの重症度とタイプを分類し,SCEの物語記述を生成するために,教師付き・コントラスト学習技術を統合した新しいハイブリッド手法であるScVLMを紹介する。 本手法は,VLMの運転映像の理解を高め,イベント記述の合理性を向上させるために分類を利用する。 提案手法は,ビデオとSCEアノテーションを備えた最大公用運転データセットである,第2戦略ハイウェイ研究プログラムの自然言語駆動学習データセットから,8,600以上のSCEをトレーニングし,評価する。 その結果、文脈的に正確な事象記述を生成し、VLM幻覚を緩和する手法の優位性を示した。 コードはhttps://github.com/datadrivenwheels/ScVLMで入手できる。

関連論文リスト

• INSIGHT: Enhancing Autonomous Driving Safety through Vision-Language Models on Context-Aware Hazard Detection and Edge Case Evaluation [7.362380225654904]
  INSIGHTは、危険検出とエッジケース評価を強化するために設計された階層型視覚言語モデル(VLM)フレームワークである。 本手法は,マルチモーダルデータ融合を用いて意味表現と視覚表現を統合し,運転シナリオの正確な解釈を可能にする。 BDD100Kデータセットの実験結果は、既存のモデルよりもハザード予測の正確性と正確性を大幅に改善したことを示している。
  論文  参考訳（メタデータ） (2025-02-01T01:43:53Z)
• When language and vision meet road safety: leveraging multimodal large language models for video-based traffic accident analysis [6.213279061986497]
  SeeUnsafeは、ビデオベースの交通事故分析を、よりインタラクティブで対話的なアプローチに変換するフレームワークである。 本フレームワークでは,様々な長さの動画をマルチモーダル・アグリゲーション・ストラテジーで処理し,レビューと評価のために構造化された応答を生成する。 本研究では,トヨタウーブン交通安全データセットについて広範な実験を行い,SeeUnsafeが事故対応ビデオ分類と視覚的グラウンド化を効果的に実施できることを実証した。
  論文  参考訳（メタデータ） (2025-01-17T23:35:34Z)
• Vision-Language Models for Autonomous Driving: CLIP-Based Dynamic Scene Understanding [5.578400344096341]
  本研究では,コントラスト言語-画像事前学習(CLIP)モデルを用いた動的シーン検索システムを開発した。 提案システムは,GPT-4oのゼロショット機能を含む,最先端のコンテキスト内学習手法より優れている。
  論文  参考訳（メタデータ） (2025-01-09T20:29:31Z)
• DAVE: Diverse Atomic Visual Elements Dataset with High Representation of Vulnerable Road Users in Complex and Unpredictable Environments [60.69159598130235]
  Vulnerable Road Users (VRU) の高表現による認識手法の評価を目的とした新しいデータセット DAVE を提案する。 DAVEは16種類のアクターカテゴリー(動物、人間、車など)と16種類のアクションタイプ(カットイン、ジグザグ運動、Uターンなど、複雑で稀なケース)を手動でアノテートしたデータセットである。 実験の結果,既存の手法はDAVEで評価すると性能の劣化に悩まされ,将来的なビデオ認識研究のメリットを浮き彫りにしていることがわかった。
  論文  参考訳（メタデータ） (2024-12-28T06:13:44Z)
• Using Multimodal Large Language Models for Automated Detection of Traffic Safety Critical Events [5.233512464561313]
  MLLM(Multimodal Large Language Models)は、テキスト、ビジュアル、オーディオのモダリティを統合する新しいアプローチを提供する。 我々のフレームワークはMLLMの推論能力を活用し、文脈固有のプロンプトを通して出力を誘導する。 予備的な結果は、ゼロショット学習と正確なシナリオ分析におけるフレームワークの可能性を示している。
  論文  参考訳（メタデータ） (2024-06-19T23:50:41Z)
• ChatScene: Knowledge-Enabled Safety-Critical Scenario Generation for Autonomous Vehicles [17.396416459648755]
  ChatSceneはLarge Language Model(LLM)ベースのエージェントで、自動運転車の安全クリティカルなシナリオを生成する。 エージェントの重要な部分は包括的知識検索コンポーネントであり、特定のテキスト記述を対応するドメイン固有のコードスニペットに効率的に翻訳する。
  論文  参考訳（メタデータ） (2024-05-22T23:21:15Z)
• Efficient Prompt Tuning of Large Vision-Language Model for Fine-Grained Ship Classification [59.99976102069976]
  リモートセンシング(RS-FGSC)における船のきめ細かい分類は、クラス間の高い類似性とラベル付きデータの限られた可用性のために大きな課題となる。 大規模な訓練済みビジョンランゲージモデル(VLM)の最近の進歩は、少数ショット学習やゼロショット学習において印象的な能力を示している。 本研究は, 船種別分類精度を高めるために, VLMの可能性を生かしたものである。
  論文  参考訳（メタデータ） (2024-03-13T05:48:58Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• Cognitive Accident Prediction in Driving Scenes: A Multimodality Benchmark [77.54411007883962]
  本研究では,視覚的観察と運転者の注意に対する人為的な文章記述の認識を効果的に活用し,モデルトレーニングを容易にする認知事故予測手法を提案する。 CAPは、注意テキスト〜ビジョンシフト融合モジュール、注意シーンコンテキスト転送モジュール、運転注意誘導事故予測モジュールによって構成される。 我々は,1,727件の事故ビデオと219万フレーム以上の大規模ベンチマークを構築した。
  論文  参考訳（メタデータ） (2022-12-19T11:43:02Z)
• Federated Deep Learning Meets Autonomous Vehicle Perception: Design and Verification [168.67190934250868]
  フェデレーテッド・ラーニング・パワード・コネクテッド・オートモービル(FLCAV)が提案されている。 FLCAVは通信とアノテーションのコストを削減しながらプライバシを保存する。 マルチステージトレーニングのためのネットワークリソースと道路センサのポーズを決定することは困難である。
  論文  参考訳（メタデータ） (2022-06-03T23:55:45Z)
• Divide-and-Conquer for Lane-Aware Diverse Trajectory Prediction [71.97877759413272]
  軌道予測は、自動運転車が行動を計画し実行するための安全クリティカルなツールです。 近年の手法は,WTAやベスト・オブ・マニーといったマルチコース学習の目標を用いて,強力なパフォーマンスを実現している。 我々の研究は、軌道予測、学習出力、そして運転知識を使って制約を課すことによるより良い予測における2つの重要な課題に対処する。
  論文  参考訳（メタデータ） (2021-04-16T17:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。