論文の概要: DRAMA: Joint Risk Localization and Captioning in Driving
- arxiv url: http://arxiv.org/abs/2209.10767v1
- Date: Thu, 22 Sep 2022 03:53:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-23 12:31:40.315628
- Title: DRAMA: Joint Risk Localization and Captioning in Driving
- Title（参考訳）: DRAMA:運転におけるリスクローカライゼーションとキャプション
- Authors: Srikanth Malla, Chiho Choi, Isht Dwivedi, Joon Hee Choi, Jiachen Li
- Abstract要約: 本稿では,運転場面における共同リスクローカライゼーションの新たな研究方向と,その自然言語記述としてのリスク説明を提案する。
標準ベンチマークの欠如により、我々は大規模データセットDRAMA (Driving Risk Assessment Mechanism with A Casting Module) を収集した。
我々のデータセットは、視覚的キャプションの目標を達成するために、関連する重要なオブジェクトによるリスクの駆動に関するビデオおよびオブジェクトレベルの質問に適合する。
- 参考スコア（独自算出の注目度）: 23.091433343825727
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Considering the functionality of situational awareness in safety-critical
automation systems, the perception of risk in driving scenes and its
explainability is of particular importance for autonomous and cooperative
driving. Toward this goal, this paper proposes a new research direction of
joint risk localization in driving scenes and its risk explanation as a natural
language description. Due to the lack of standard benchmarks, we collected a
large-scale dataset, DRAMA (Driving Risk Assessment Mechanism with A captioning
module), which consists of 17,785 interactive driving scenarios collected in
Tokyo, Japan. Our DRAMA dataset accommodates video- and object-level questions
on driving risks with associated important objects to achieve the goal of
visual captioning as a free-form language description utilizing closed and
open-ended responses for multi-level questions, which can be used to evaluate a
range of visual captioning capabilities in driving scenarios. We make this data
available to the community for further research. Using DRAMA, we explore
multiple facets of joint risk localization and captioning in interactive
driving scenarios. In particular, we benchmark various multi-task prediction
architectures and provide a detailed analysis of joint risk localization and
risk captioning. The data set is available at https://usa.honda-ri.com/drama
- Abstract（参考訳）: 安全クリティカルな自動化システムにおける状況認識の機能を考えると、運転シーンにおけるリスクの認識とその説明可能性は、自律運転および協調運転において特に重要である。
本稿では,運転場面における共同リスク局在の新たな研究方向と,そのリスク説明を自然言語記述として提案する。
標準ベンチマークの欠如により,東京で収集した17,785台のインタラクティブ運転シナリオからなる大規模データセットである drama (driving risk assessment mechanism with a captioning module) を収集した。
本研究のドラマデータセットは,様々な視覚キャプション機能の評価に使用可能なマルチレベル質問に対して,クローズド・オープン・エンドの応答を利用した自由形式の言語記述として,視覚キャプションの目的を達成するために,関連する重要物体の運転リスクに関するビデオおよびオブジェクトレベルの質問を収容する。
さらなる研究のために、このデータをコミュニティに公開しています。
DRAMAを用いて,対話型運転シナリオにおける共同リスクローカライゼーションとキャプションの複数の側面を探索する。
特に,様々なマルチタスク予測アーキテクチャをベンチマークし,共同リスクローカライゼーションとリスクキャプションの詳細な分析を行う。
データセットはhttps://usa.honda-ri.com/dramaで利用可能である。
関連論文リスト
- Generating Out-Of-Distribution Scenarios Using Language Models [58.47597351184034]
大規模言語モデル(LLM)は自動運転において有望であることを示している。
本稿では,多様なOF-Distribution(OOD)駆動シナリオを生成するためのフレームワークを提案する。
我々は、広範囲なシミュレーションを通じてフレームワークを評価し、新しい"OOD-ness"メトリクスを導入する。
論文 参考訳（メタデータ） (2024-11-25T16:38:17Z) - ScVLM: a Vision-Language Model for Driving Safety Critical Event Understanding [6.461440777667878]
教師付き学習とコントラスト学習を組み合わせたハイブリッド手法であるScVLMを提案する。
提案手法は,第2戦略ハイウェイ研究プログラム自然言語駆動学習データセットから8,600以上のSCEを用いて訓練し,評価する。
論文 参考訳（メタデータ） (2024-10-01T18:10:23Z) - CoVLA: Comprehensive Vision-Language-Action Dataset for Autonomous Driving [1.727597257312416]
CoVLA(Comprehensive Vision-Language-Action)データセットは、80時間以上にわたる現実世界の運転ビデオで構成されている。
このデータセットは、堅牢で解釈可能で、データ駆動の自動運転システムのためのフレームワークを確立する。
論文 参考訳（メタデータ） (2024-08-19T09:53:49Z) - Towards Probing Speech-Specific Risks in Large Multimodal Models: A Taxonomy, Benchmark, and Insights [50.89022445197919]
本研究は,8つのリスクカテゴリーを敵意(悪意的皮肉と脅し),悪意的模倣(年齢,性別,民族),ステレオタイプ的バイアス(年齢,性別,民族)を対象とする音声特異的リスク分類法を提案する。
分類に基づいて,これらのリスクのカテゴリを検出するために,現在のLMM能力を評価するための小規模データセットを作成する。
論文 参考訳（メタデータ） (2024-06-25T10:08:45Z) - Hawk: Learning to Understand Open-World Video Anomalies [76.9631436818573]
ビデオ異常検出(VAD)システムは、障害を自律的に監視し、識別し、手作業や関連するコストを削減できる。
我々は,インタラクティブな大規模ビジュアル言語モデル(VLM)を利用して,ビデオの異常を正確に解釈する新しいフレームワークであるHawkを紹介する。
言語記述による8000以上の異常ビデオを注釈付けし、さまざまなオープンワールドシナリオでの効果的なトレーニングを可能にしました。
論文 参考訳（メタデータ） (2024-05-27T07:08:58Z) - Exploring the Potential of Multi-Modal AI for Driving Hazard Prediction [18.285227911703977]
本稿では,車載ダッシュカムが捉えた単一入力画像を用いて,差し迫った事故を予測するためのタスクとして定式化する。
この問題は、不確実な観測に基づいて将来の出来事を予測し、推論する必要がある。
この調査対象領域の研究を可能にするために、DHPRデータセットと呼ばれる新しいデータセットが作成される。
論文 参考訳（メタデータ） (2023-10-07T03:16:30Z) - RSRD: A Road Surface Reconstruction Dataset and Benchmark for Safe and
Comfortable Autonomous Driving [67.09546127265034]
道路表面の再構築は、車両の走行計画と制御システムの解析と予測を促進するのに役立つ。
我々は,様々な運転条件下で,特定のプラットフォームで収集した実世界,高解像度,高精度のデータセットであるRoad Surface Reconstructionデータセットを紹介した。
約16,000対のステレオ画像、原点雲、地中深度・不均等地図を含む一般的な道路形態を網羅している。
論文 参考訳（メタデータ） (2023-10-03T17:59:32Z) - Language-Guided 3D Object Detection in Point Cloud for Autonomous
Driving [91.91552963872596]
我々は,LiDARグラウンディングと呼ばれるマルチモーダルな視覚的グラウンドニングタスクを提案する。
言語特徴を持つLiDARベースの物体検出器を共同で学習し、検出器から直接対象領域を予測する。
私たちの研究は、LiDARベースの接地作業に関する深い洞察を提供しており、自動運転コミュニティにとって有望な方向性を示すものと期待しています。
論文 参考訳（メタデータ） (2023-05-25T06:22:10Z) - Intersection Warning System for Occlusion Risks using Relational Local
Dynamic Maps [0.0]
本研究は,センサカバレッジの制限による可観測性に制限のある交通シナリオにおけるリスク評価の課題に対処する。
視界の特定には、幾何学的情報と道路インフラを提供する局所的ダイナミックマップにレイキャスティングを用いる。
結果として生じるリスク指標は、ドライバーの現在の行動を評価し、重大な状況でドライバーに警告し、安全に行動する方法や安全な軌道を計画する方法を提案するために使用される。
論文 参考訳（メタデータ） (2023-03-13T16:01:55Z) - Vision based Pedestrian Potential Risk Analysis based on Automated
Behavior Feature Extraction for Smart and Safe City [5.759189800028578]
このような交差点に設置した道路セキュリティカメラで収集した映像を用いて,歩行者の潜在的な危険度に関する包括的分析モデルを提案する。
提案システムは、車や歩行者を自動的に検知し、フレームによって軌跡を計算し、これらの物体間の潜在的危険シーンの可能性を左右する行動特徴を抽出する。
韓国大山市の横断歩道で適用し,実現可能性と適用性を評価した。
論文 参考訳（メタデータ） (2021-05-06T11:03:10Z) - Generating and Characterizing Scenarios for Safety Testing of Autonomous
Vehicles [86.9067793493874]
最先端運転シミュレータを用いて,テストシナリオを特徴付け,生成するための効率的なメカニズムを提案する。
次世代シミュレーション(NGSIM)プロジェクトにおける実運転データの特徴付けに本手法を用いる。
事故回避の複雑さに基づいてメトリクスを定義してシナリオをランク付けし、事故発生の可能性を最小限に抑えるための洞察を提供します。
論文 参考訳（メタデータ） (2021-03-12T17:00:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。