論文の概要: Understanding and Modeling the Effects of Task and Context on Drivers'
Gaze Allocation
- arxiv url: http://arxiv.org/abs/2310.09275v1
- Date: Fri, 13 Oct 2023 17:38:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 11:39:44.314848
- Title: Understanding and Modeling the Effects of Task and Context on Drivers'
Gaze Allocation
- Title（参考訳）: タスクとコンテキストがドライバーの視線配分に及ぼす影響の理解とモデル化
- Authors: Iuliia Kotseruba and John K. Tsotsos
- Abstract要約: ボトムアップ(聖域への非自発的な魅力)とトップダウン(タスクとコンテキスト駆動)要素は、ドライバーの視線割り当てに重要な役割を果たします。
既存のモデリング手法のほとんどはボトムアップ・サリエンシーのために開発された手法を適用しており、タスクやコンテキストの影響を明示的に考慮していない。
本研究では,ドライバーの視線予測を明示的な行動とコンテキスト情報で調節する新しいモデルを提案する。
- 参考スコア（独自算出の注目度）: 14.467794332678539
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding what drivers look at is important for many applications,
including driver training, monitoring, and assistance, as well as self-driving.
Traditionally, factors affecting human visual attention have been divided into
bottom-up (involuntary attraction to salient regions) and top-down (task- and
context-driven). Although both play a role in drivers' gaze allocation, most of
the existing modeling approaches apply techniques developed for bottom-up
saliency and do not consider task and context influences explicitly. Likewise,
common driving attention benchmarks lack relevant task and context annotations.
Therefore, to enable analysis and modeling of these factors for drivers' gaze
prediction, we propose the following: 1) address some shortcomings of the
popular DR(eye)VE dataset and extend it with per-frame annotations for driving
task and context; 2) benchmark a number of baseline and SOTA models for
saliency and driver gaze prediction and analyze them w.r.t. the new
annotations; and finally, 3) a novel model that modulates drivers' gaze
prediction with explicit action and context information, and as a result
significantly improves SOTA performance on DR(eye)VE overall (by 24\% KLD and
89\% NSS) and on a subset of action and safety-critical intersection scenarios
(by 10--30\% KLD). Extended annotations, code for model and evaluation will be
made publicly available.
- Abstract（参考訳）: ドライバーが何を見ているかを理解することは、ドライバーのトレーニング、監視、支援、そして自動運転を含む多くのアプリケーションにとって重要である。
伝統的に、人間の視覚的注意に影響する要因はボトムアップとトップダウン(タスクとコンテキスト駆動)に分けられている。
どちらもドライバーの視線配分において役割を担っているが、既存のモデリングアプローチのほとんどはボトムアップ・サリエンシーのために開発された技術を適用しており、タスクやコンテキストの影響を明示的に考慮していない。
同様に、共通運転注意ベンチマークは関連するタスクとコンテキストアノテーションを欠いている。
そこで,運転者の視線予測のための因子の解析とモデル化を実現するために,以下のことを提案する。
1) 一般的なDR(eye)VEデータセットの欠点に対処し、タスクとコンテキストを駆動するためのフレーム単位のアノテーションで拡張する。
2) 精度とドライバーの視線予測のためのベースラインモデルとSOTAモデルをベンチマークし、それらを新しいアノテーションで解析する。
3) ドライバーの視線予測を明示的な行動と文脈情報で調整し, DR(eye)VE全体のSOTA性能(24\% KLD, 89\% NSS)と, 行動・安全クリティカルな交差点シナリオ(10-30\% KLD)のサブセットにおいて有意に向上させる新しいモデルを提案する。
拡張アノテーション、モデルと評価のためのコードも公開されている。
関連論文リスト
- Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。
本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
論文 参考訳（メタデータ） (2024-08-24T18:28:19Z) - Guiding Attention in End-to-End Driving Models [49.762868784033785]
模倣学習によって訓練された視覚ベースのエンドツーエンドの運転モデルは、自動運転のための安価なソリューションにつながる可能性がある。
トレーニング中に損失項を追加することにより、これらのモデルの注意を誘導し、運転品質を向上させる方法について検討する。
従来の研究とは対照的に,本手法では,テスト期間中にこれらの有意義なセマンティックマップを利用できない。
論文 参考訳（メタデータ） (2024-04-30T23:18:51Z) - SCOUT+: Towards Practical Task-Driven Drivers' Gaze Prediction [12.246649738388388]
SCOUT+はドライバーの視線予測のためのタスクおよびコンテキスト認識モデルである。
DR(eye)VEとBDD-Aの2つのデータセットでモデルを評価する。
論文 参考訳（メタデータ） (2024-04-12T18:29:10Z) - Data Limitations for Modeling Top-Down Effects on Drivers' Attention [12.246649738388388]
運転は視覚運動のタスクであり、つまり、ドライバーが見ているものと何をするかの間には関連がある。
ドライバーの視線の一部のモデルは、ドライバーの行動によるトップダウン効果を考慮に入れている。
大多数は人間の視線と運転映像のボトムアップ相関しか学ばない。
論文 参考訳（メタデータ） (2024-04-12T18:23:00Z) - G-MEMP: Gaze-Enhanced Multimodal Ego-Motion Prediction in Driving [71.9040410238973]
我々は、視線データを用いて、運転者の車両のエゴ軌道を推定することに集中する。
次に、GPSとビデオ入力と視線データを組み合わせた新しいマルチモーダルエゴ軌道予測ネットワークであるG-MEMPを開発する。
その結果,G-MEMPは両ベンチマークにおいて最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2023-12-13T23:06:30Z) - TOFG: A Unified and Fine-Grained Environment Representation in
Autonomous Driving [7.787762537147956]
自律運転では、軌道予測や運動計画といった多くの運転タスクにおいて、環境の正確な理解が重要な役割を果たす。
軌道予測と運動計画のための多くのデータ駆動モデルでは、車両間および車両間相互作用を分離的かつ逐次的に抽出する。
環境表現であるTOFG(Temporal Occupancy Flow Graph)を提案し、地図情報と車両軌跡を均質なデータ形式に統一する。
論文 参考訳（メタデータ） (2023-05-31T17:43:56Z) - OpenLane-V2: A Topology Reasoning Benchmark for Unified 3D HD Mapping [84.65114565766596]
交通シーン構造を考慮したトポロジ推論のための最初のデータセットであるOpenLane-V2を提案する。
OpenLane-V2は2000のアノテートされた道路シーンで構成され、交通要素と車線との関係を記述している。
様々な最先端手法を評価し,OpenLane-V2の定量的,定性的な結果を示し,交通現場におけるトポロジ推論の今後の道筋を示す。
論文 参考訳（メタデータ） (2023-04-20T16:31:22Z) - FBLNet: FeedBack Loop Network for Driver Attention Prediction [75.83518507463226]
非客観的運転経験はモデル化が難しい。
本稿では,運転経験蓄積過程をモデル化するFeedBack Loop Network (FBLNet)を提案する。
インクリメンタルな知識の指導のもと、私たちのモデルは入力画像から抽出されたCNN特徴とトランスフォーマー特徴を融合し、ドライバーの注意を予測します。
論文 参考訳（メタデータ） (2022-12-05T08:25:09Z) - Control-Aware Prediction Objectives for Autonomous Driving [78.19515972466063]
本研究では,制御に対する予測の下流効果を評価するための制御認識予測目標(CAPOs)を提案する。
本稿では,エージェント間の注意モデルを用いた重み付けと,予測軌跡を接地真実軌跡に交換する際の制御変動に基づく重み付けの2つの方法を提案する。
論文 参考訳（メタデータ） (2022-04-28T07:37:21Z) - Where and What: Driver Attention-based Object Detection [13.5947650184579]
画素レベルとオブジェクトレベルのアテンション予測のギャップを埋める。
本フレームワークは,画素レベルとオブジェクトレベルの両方において,最先端の競合性能を実現する。
論文 参考訳（メタデータ） (2022-04-26T08:38:22Z) - SCOUT: Socially-COnsistent and UndersTandable Graph Attention Network
for Trajectory Prediction of Vehicles and VRUs [0.0]
SCOUTは、グラフとしてシーンの柔軟で汎用的な表現を使用する新しい注意ベースのグラフニューラルネットワークです。
我々は3つの異なる注意メカニズムを探索し,鳥眼視と車載都市データを用いてそのスキームをテストする。
RounDデータセットの全く新しいシナリオでテストすることにより、モデルの柔軟性と転送性を評価します。
論文 参考訳（メタデータ） (2021-02-12T06:29:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。