論文の概要: DRAMA: Joint Risk Localization and Captioning in Driving
- arxiv url: http://arxiv.org/abs/2209.10767v1
- Date: Thu, 22 Sep 2022 03:53:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-23 12:31:40.315628
- Title: DRAMA: Joint Risk Localization and Captioning in Driving
- Title(参考訳): DRAMA:運転におけるリスクローカライゼーションとキャプション
- Authors: Srikanth Malla, Chiho Choi, Isht Dwivedi, Joon Hee Choi, Jiachen Li
- Abstract要約: 本稿では,運転場面における共同リスクローカライゼーションの新たな研究方向と,その自然言語記述としてのリスク説明を提案する。
標準ベンチマークの欠如により、我々は大規模データセットDRAMA (Driving Risk Assessment Mechanism with A Casting Module) を収集した。
我々のデータセットは、視覚的キャプションの目標を達成するために、関連する重要なオブジェクトによるリスクの駆動に関するビデオおよびオブジェクトレベルの質問に適合する。
- 参考スコア(独自算出の注目度): 23.091433343825727
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Considering the functionality of situational awareness in safety-critical
automation systems, the perception of risk in driving scenes and its
explainability is of particular importance for autonomous and cooperative
driving. Toward this goal, this paper proposes a new research direction of
joint risk localization in driving scenes and its risk explanation as a natural
language description. Due to the lack of standard benchmarks, we collected a
large-scale dataset, DRAMA (Driving Risk Assessment Mechanism with A captioning
module), which consists of 17,785 interactive driving scenarios collected in
Tokyo, Japan. Our DRAMA dataset accommodates video- and object-level questions
on driving risks with associated important objects to achieve the goal of
visual captioning as a free-form language description utilizing closed and
open-ended responses for multi-level questions, which can be used to evaluate a
range of visual captioning capabilities in driving scenarios. We make this data
available to the community for further research. Using DRAMA, we explore
multiple facets of joint risk localization and captioning in interactive
driving scenarios. In particular, we benchmark various multi-task prediction
architectures and provide a detailed analysis of joint risk localization and
risk captioning. The data set is available at https://usa.honda-ri.com/drama
- Abstract(参考訳): 安全クリティカルな自動化システムにおける状況認識の機能を考えると、運転シーンにおけるリスクの認識とその説明可能性は、自律運転および協調運転において特に重要である。
本稿では,運転場面における共同リスク局在の新たな研究方向と,そのリスク説明を自然言語記述として提案する。
標準ベンチマークの欠如により,東京で収集した17,785台のインタラクティブ運転シナリオからなる大規模データセットである drama (driving risk assessment mechanism with a captioning module) を収集した。
本研究のドラマデータセットは,様々な視覚キャプション機能の評価に使用可能なマルチレベル質問に対して,クローズド・オープン・エンドの応答を利用した自由形式の言語記述として,視覚キャプションの目的を達成するために,関連する重要物体の運転リスクに関するビデオおよびオブジェクトレベルの質問を収容する。
さらなる研究のために、このデータをコミュニティに公開しています。
DRAMAを用いて,対話型運転シナリオにおける共同リスクローカライゼーションとキャプションの複数の側面を探索する。
特に,様々なマルチタスク予測アーキテクチャをベンチマークし,共同リスクローカライゼーションとリスクキャプションの詳細な分析を行う。
データセットはhttps://usa.honda-ri.com/dramaで利用可能である。
関連論文リスト
- Towards Probing Speech-Specific Risks in Large Multimodal Models: A Taxonomy, Benchmark, and Insights [50.89022445197919]
本研究は,8つのリスクカテゴリーを敵意(悪意的皮肉と脅し),悪意的模倣(年齢,性別,民族),ステレオタイプ的バイアス(年齢,性別,民族)を対象とする音声特異的リスク分類法を提案する。
分類に基づいて,これらのリスクのカテゴリを検出するために,現在のLMM能力を評価するための小規模データセットを作成する。
論文 参考訳(メタデータ) (2024-06-25T10:08:45Z) - Hawk: Learning to Understand Open-World Video Anomalies [76.9631436818573]
ビデオ異常検出(VAD)システムは、障害を自律的に監視し、識別し、手作業や関連するコストを削減できる。
我々は,インタラクティブな大規模ビジュアル言語モデル(VLM)を利用して,ビデオの異常を正確に解釈する新しいフレームワークであるHawkを紹介する。
言語記述による8000以上の異常ビデオを注釈付けし、さまざまなオープンワールドシナリオでの効果的なトレーニングを可能にしました。
論文 参考訳(メタデータ) (2024-05-27T07:08:58Z) - Probing Multimodal LLMs as World Models for Driving [72.18727651074563]
本研究は,自律運転分野におけるMLLM(Multimodal Large Language Models)の適用に焦点を当てた。
我々は、固定車載カメラの観点から、様々なMLLMの運転能力を世界モデルとして評価する。
以上の結果から,最先端MLLMの現在の能力に重要なギャップがあることが示唆された。
論文 参考訳(メタデータ) (2024-05-09T17:52:42Z) - Towards Explainable, Safe Autonomous Driving with Language Embeddings
for Novelty Identification and Active Learning: Framework and Experimental
Analysis with Real-World Data Sets [0.0]
本研究では、自律運転データセットにおけるアクティブラーニングのための言語埋め込みの統合について検討する。
提案手法は,新規シーンの識別に言語に基づく表現を用い,安全テイクオーバ応答とアクティブラーニングの両目的を強調した。
論文 参考訳(メタデータ) (2024-02-11T22:53:21Z) - Exploring the Potential of Multi-Modal AI for Driving Hazard Prediction [18.285227911703977]
本稿では,車載ダッシュカムが捉えた単一入力画像を用いて,差し迫った事故を予測するためのタスクとして定式化する。
この問題は、不確実な観測に基づいて将来の出来事を予測し、推論する必要がある。
この調査対象領域の研究を可能にするために、DHPRデータセットと呼ばれる新しいデータセットが作成される。
論文 参考訳(メタデータ) (2023-10-07T03:16:30Z) - RSRD: A Road Surface Reconstruction Dataset and Benchmark for Safe and
Comfortable Autonomous Driving [67.09546127265034]
道路表面の再構築は、車両の走行計画と制御システムの解析と予測を促進するのに役立つ。
我々は,様々な運転条件下で,特定のプラットフォームで収集した実世界,高解像度,高精度のデータセットであるRoad Surface Reconstructionデータセットを紹介した。
約16,000対のステレオ画像、原点雲、地中深度・不均等地図を含む一般的な道路形態を網羅している。
論文 参考訳(メタデータ) (2023-10-03T17:59:32Z) - Language-Guided 3D Object Detection in Point Cloud for Autonomous
Driving [91.91552963872596]
我々は,LiDARグラウンディングと呼ばれるマルチモーダルな視覚的グラウンドニングタスクを提案する。
言語特徴を持つLiDARベースの物体検出器を共同で学習し、検出器から直接対象領域を予測する。
私たちの研究は、LiDARベースの接地作業に関する深い洞察を提供しており、自動運転コミュニティにとって有望な方向性を示すものと期待しています。
論文 参考訳(メタデータ) (2023-05-25T06:22:10Z) - Intersection Warning System for Occlusion Risks using Relational Local
Dynamic Maps [0.0]
本研究は,センサカバレッジの制限による可観測性に制限のある交通シナリオにおけるリスク評価の課題に対処する。
視界の特定には、幾何学的情報と道路インフラを提供する局所的ダイナミックマップにレイキャスティングを用いる。
結果として生じるリスク指標は、ドライバーの現在の行動を評価し、重大な状況でドライバーに警告し、安全に行動する方法や安全な軌道を計画する方法を提案するために使用される。
論文 参考訳(メタデータ) (2023-03-13T16:01:55Z) - A system of vision sensor based deep neural networks for complex driving
scene analysis in support of crash risk assessment and prevention [12.881094474374231]
本稿では,車載ダッシュカメラとディープラーニングアルゴリズムを用いたシーン解析システムを開発した。
このシステムのマルチネットには、2つのマルチタスクニューラルネットワークが含まれており、シーンごとに4つのラベルを提供するシーン分類を実行する。
2つの全く新しいデータセットが開発され、一般に公開され、提案されたディープニューラルネットワークのトレーニングに有効であることが証明された。
論文 参考訳(メタデータ) (2021-06-18T19:07:59Z) - Vision based Pedestrian Potential Risk Analysis based on Automated
Behavior Feature Extraction for Smart and Safe City [5.759189800028578]
このような交差点に設置した道路セキュリティカメラで収集した映像を用いて,歩行者の潜在的な危険度に関する包括的分析モデルを提案する。
提案システムは、車や歩行者を自動的に検知し、フレームによって軌跡を計算し、これらの物体間の潜在的危険シーンの可能性を左右する行動特徴を抽出する。
韓国大山市の横断歩道で適用し,実現可能性と適用性を評価した。
論文 参考訳(メタデータ) (2021-05-06T11:03:10Z) - Generating and Characterizing Scenarios for Safety Testing of Autonomous
Vehicles [86.9067793493874]
最先端運転シミュレータを用いて,テストシナリオを特徴付け,生成するための効率的なメカニズムを提案する。
次世代シミュレーション(NGSIM)プロジェクトにおける実運転データの特徴付けに本手法を用いる。
事故回避の複雑さに基づいてメトリクスを定義してシナリオをランク付けし、事故発生の可能性を最小限に抑えるための洞察を提供します。
論文 参考訳(メタデータ) (2021-03-12T17:00:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。