論文の概要: Using Multimodal Large Language Models for Automated Detection of Traffic Safety Critical Events

• arxiv url: http://arxiv.org/abs/2406.13894v1
• Date: Wed, 19 Jun 2024 23:50:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 17:56:21.997168
• Title: Using Multimodal Large Language Models for Automated Detection of Traffic Safety Critical Events
• Title（参考訳）: マルチモーダル大言語モデルを用いた交通安全臨界事象の自動検出
• Authors: Mohammad Abu Tami, Huthaifa I. Ashqar, Mohammed Elhenawy,
• Abstract要約: MLLM(Multimodal Large Language Models)は、テキスト、ビジュアル、オーディオのモダリティを統合する新しいアプローチを提供する。 我々のフレームワークはMLLMの推論能力を活用し、文脈固有のプロンプトを通して出力を誘導する。 予備的な結果は、ゼロショット学習と正確なシナリオ分析におけるフレームワークの可能性を示している。
• 参考スコア（独自算出の注目度）: 5.233512464561313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional approaches to safety event analysis in autonomous systems have relied on complex machine learning models and extensive datasets for high accuracy and reliability. However, the advent of Multimodal Large Language Models (MLLMs) offers a novel approach by integrating textual, visual, and audio modalities, thereby providing automated analyses of driving videos. Our framework leverages the reasoning power of MLLMs, directing their output through context-specific prompts to ensure accurate, reliable, and actionable insights for hazard detection. By incorporating models like Gemini-Pro-Vision 1.5 and Llava, our methodology aims to automate the safety critical events and mitigate common issues such as hallucinations in MLLM outputs. Preliminary results demonstrate the framework's potential in zero-shot learning and accurate scenario analysis, though further validation on larger datasets is necessary. Furthermore, more investigations are required to explore the performance enhancements of the proposed framework through few-shot learning and fine-tuned models. This research underscores the significance of MLLMs in advancing the analysis of the naturalistic driving videos by improving safety-critical event detecting and understanding the interaction with complex environments.
• Abstract（参考訳）: 自律システムにおける安全イベント分析への従来のアプローチは、複雑な機械学習モデルと、高精度で信頼性の高い広範なデータセットに依存してきた。 しかし、MLLM(Multimodal Large Language Models)の出現は、テキスト、ビジュアル、オーディオのモダリティを統合し、駆動ビデオの自動解析を提供することによって、新しいアプローチを提供する。 我々のフレームワークはMLLMの推論能力を活用し、その出力をコンテキスト固有のプロンプトを通じて指示することで、危険検出のための正確で信頼性があり、行動可能な洞察を確実にする。 Gemini-Pro-Vision 1.5 や Llava などのモデルを導入することで,安全クリティカルイベントの自動化と,MLLM 出力の幻覚などの共通問題を緩和する。 予備的な結果は、ゼロショット学習と正確なシナリオ分析におけるフレームワークの可能性を示しているが、より大きなデータセットに対するさらなる検証が必要である。 さらに、数ショットの学習と微調整モデルを通じて提案フレームワークの性能向上を検討するために、さらなる調査が必要である。 本研究は、複雑な環境との相互作用を検知し理解することで、自然主義的な運転映像の分析を進める上でのMLLMの重要性を裏付けるものである。

関連論文リスト

• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks [74.52259252807191]
  MLLM(Multimodal Large Language Models)は、単一のモダリティシステムの能力を超えた現実世界のアプリケーションの複雑さに対処する。 本稿では,自然言語,視覚,音声などのマルチモーダルタスクにおけるMLLMの応用を体系的に整理する。
  論文  参考訳（メタデータ） (2024-08-02T15:14:53Z)
• A Superalignment Framework in Autonomous Driving with Large Language Models [2.650382010271]
  大規模言語モデル (LLM) と多モード大規模言語モデル (MLLM) は、自律運転において広く使われている。 その重要性にもかかわらず、自動運転におけるLLMのセキュリティの側面は未解明のままである。 本研究は,マルチエージェントLLMアプローチを利用した,自動運転車の新たなセキュリティフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-09T05:26:38Z)
• Probing Multimodal LLMs as World Models for Driving [72.18727651074563]
  自律運転におけるMLLM(Multimodal Large Language Models)の適用について検討する。 GPT-4oのようなモデルの開発は進んでいるが、複雑な運転環境における性能は未解明のままである。
  論文  参考訳（メタデータ） (2024-05-09T17:52:42Z)
• Traj-LLM: A New Exploration for Empowering Trajectory Prediction with Pre-trained Large Language Models [12.687494201105066]
  本稿では,Traj-LLMを提案する。Large Language Models (LLMs) を用いて,エージェントの過去の/観測された軌跡やシーンセマンティクスから将来の動きを生成する可能性について検討する。 LLMの強力な理解能力は、ハイレベルなシーン知識とインタラクティブな情報のスペクトルを捉えている。 人為的な車線焦点認知機能を模倣し,先駆的なMambaモジュールを用いた車線認識確率論的学習を導入する。
  論文  参考訳（メタデータ） (2024-05-08T09:28:04Z)
• AIDE: An Automatic Data Engine for Object Detection in Autonomous Driving [68.73885845181242]
  本稿では,問題を自動的に識別し,データを効率よくキュレートし,自動ラベル付けによりモデルを改善する自動データエンジン(AIDE)を提案する。 さらに,AVデータセットのオープンワールド検出のためのベンチマークを構築し,様々な学習パラダイムを包括的に評価し,提案手法の優れた性能を低コストで実証する。
  論文  参考訳（メタデータ） (2024-03-26T04:27:56Z)
• Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
  本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚トークンの概念を提案する。 さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2024-03-12T14:58:52Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。