論文の概要: SafeDriveRAG: Towards Safe Autonomous Driving with Knowledge Graph-based Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2507.21585v1
• Date: Tue, 29 Jul 2025 08:40:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 17:08:55.864594
• Title: SafeDriveRAG: Towards Safe Autonomous Driving with Knowledge Graph-based Retrieval-Augmented Generation
• Title（参考訳）: SafeDriveRAG:知識グラフに基づく検索生成による安全な自律運転を目指して
• Authors: Hao Ye, Mengshi Qi, Zhaohong Liu, Liang Liu, Huadong Ma,
• Abstract要約: 視覚言語モデル(VLM)は、自律運転システムの安全性を高めるために利用することができる。 既存の研究は、交通安全クリティカルな運転シナリオにおけるこれらのモデルの評価を概ね見落としている。 本稿では,視覚的質問応答のための知識グラフに基づく検索拡張生成を用いたVLMに基づく新しいベースラインを提案する。
• 参考スコア（独自算出の注目度）: 27.135615596331263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we study how vision-language models (VLMs) can be utilized to enhance the safety for the autonomous driving system, including perception, situational understanding, and path planning. However, existing research has largely overlooked the evaluation of these models in traffic safety-critical driving scenarios. To bridge this gap, we create the benchmark (SafeDrive228K) and propose a new baseline based on VLM with knowledge graph-based retrieval-augmented generation (SafeDriveRAG) for visual question answering (VQA). Specifically, we introduce SafeDrive228K, the first large-scale multimodal question-answering benchmark comprising 228K examples across 18 sub-tasks. This benchmark encompasses a diverse range of traffic safety queries, from traffic accidents and corner cases to common safety knowledge, enabling a thorough assessment of the comprehension and reasoning abilities of the models. Furthermore, we propose a plug-and-play multimodal knowledge graph-based retrieval-augmented generation approach that employs a novel multi-scale subgraph retrieval algorithm for efficient information retrieval. By incorporating traffic safety guidelines collected from the Internet, this framework further enhances the model's capacity to handle safety-critical situations. Finally, we conduct comprehensive evaluations on five mainstream VLMs to assess their reliability in safety-sensitive driving tasks. Experimental results demonstrate that integrating RAG significantly improves performance, achieving a +4.73% gain in Traffic Accidents tasks, +8.79% in Corner Cases tasks and +14.57% in Traffic Safety Commonsense across five mainstream VLMs, underscoring the potential of our proposed benchmark and methodology for advancing research in traffic safety. Our source code and data are available at https://github.com/Lumos0507/SafeDriveRAG.
• Abstract（参考訳）: 本研究では、視覚言語モデル(VLM)を用いて、認識、状況理解、経路計画を含む自律運転システムの安全性を高める方法について検討する。 しかし、既存の研究は、交通安全クリティカルな運転シナリオにおけるこれらのモデルの評価を概ね見落としている。 このギャップを埋めるために、ベンチマーク(SafeDrive228K)を作成し、知識グラフに基づく検索強化生成(SafeDriveRAG)による視覚的質問応答(VQA)のためのVLMに基づく新しいベースラインを提案する。 具体的には,18のサブタスクにまたがる228K例からなる,最初の大規模マルチモーダル質問応答ベンチマークであるSafeDrive228Kを紹介する。 このベンチマークは、交通事故やコーナーケースから一般的な安全知識まで、さまざまな交通安全クエリを含んでおり、モデルの理解と推論能力の徹底的な評価を可能にしている。 さらに,効率的な情報検索のために,新しいマルチスケールサブグラフ検索アルゴリズムを用いたマルチモーダル知識グラフに基づく検索拡張生成手法を提案する。 インターネットから収集された交通安全ガイドラインを取り入れることで、このフレームワークは安全クリティカルな状況に対処するモデルの能力をさらに強化する。 最後に、安全に敏感な運転作業における信頼性を評価するため、5つの主流VLMの総合評価を行う。 実験の結果,RAGの統合により,交通事故タスクの+4.73%,コーネルケースタスクの+8.79%,交通安全コモンセンスの+14.57%,5つの主流VLMにおけるパフォーマンス向上が達成された。 ソースコードとデータはhttps://github.com/Lumos0507/SafeDriveRAG.comで公開されています。

関連論文リスト

• SafeAuto: Knowledge-Enhanced Safe Autonomous Driving with Multimodal Foundation Models [63.71984266104757]
  我々は、構造化されていない知識と構造化されていない知識の両方を取り入れることで、MLLMベースの自動運転を強化するフレームワークであるSafeAutoを提案する。 安全知識を明示的に統合するため,交通ルールを一階述語論理に変換する推論コンポーネントを開発した。 我々のマルチモーダル検索・拡張生成モデルは、過去の運転経験から学ぶために、ビデオ、制御信号、環境特性を活用する。
  論文  参考訳（メタデータ） (2025-02-28T21:53:47Z)
• SafeDrive: Knowledge- and Data-Driven Risk-Sensitive Decision-Making for Autonomous Vehicles with Large Language Models [14.790308656087316]
  SafeDriveは、自律運転の安全性と適応性を高めるための、知識とデータ駆動型リスクに敏感な意思決定フレームワークである。 知識駆動型洞察と適応学習機構を統合することにより、不確実な条件下での堅牢な意思決定を保証する。
  論文  参考訳（メタデータ） (2024-12-17T16:45:27Z)
• A Counterfactual Safety Margin Perspective on the Scoring of Autonomous Vehicles' Riskiness [52.27309191283943]
  本稿では,異なるAVの行動のリスクを評価するためのデータ駆動型フレームワークを提案する。 本稿では,衝突を引き起こす可能性のある名目行動から最小限の偏差を示す,対実的安全マージンの概念を提案する。
  論文  参考訳（メタデータ） (2023-08-02T09:48:08Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。