論文の概要: EyeCue: Driver Cognitive Distraction Detection via Gaze-Empowered Egocentric Video Understanding
- arxiv url: http://arxiv.org/abs/2605.07859v1
- Date: Fri, 08 May 2026 15:20:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:39.151532
- Title: EyeCue: Driver Cognitive Distraction Detection via Gaze-Empowered Egocentric Video Understanding
- Title(参考訳): EyeCue: Gaze-Empowered Egocentric Video Understanding によるドライバ認知障害検出
- Authors: Lang Zhang, JinYi Yoon, Matthew Corbett, Abhijit Sarkar, Bo Ji,
- Abstract要約: EyeCueは、視線を駆使したエゴセントリックなビデオ理解フレームワークで、ドライバーの認知的気晴らしを検出する。
重要な洞察は、認知的気晴らしが視線と視覚的コンテキストの相互作用に現れることである。
既存のデータセットのスケールと多様性の制限に対処するため、包括的マルチシナリオデータセットであるCogDriveを紹介します。
- 参考スコア(独自算出の注目度): 8.102838918541108
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Driver cognitive distraction is a major cause of road collisions and remains difficult to detect. Unlike manual or visual distraction, cognitive distraction is diverted by thoughts unrelated to driving, even when the driver appears visually attentive and exhibits no explicit physical movements. In this work, we propose EyeCue, a gaze-empowered egocentric video understanding framework, to detect driver cognitive distraction. A key insight is that cognitive distraction manifests in the interaction between eye gaze and visual context. To capture this interaction, EyeCue integrates eye gaze with egocentric video to enable context-aware modeling of the driver's attention over time. Furthermore, to tackle the limited scale and diversity of existing datasets, we introduce CogDrive, a comprehensive multi-scenario dataset that augments four existing driving datasets with cognitive distraction annotations. Through extensive evaluations on CogDrive, we show that EyeCue achieves the highest accuracy of 74.38%, outperforming 11 baselines from 6 model families by over 7%. Notably, EyeCue can achieve an accuracy of over 70% across various driving scenarios (different road types, times of day, and weather conditions) with strong generalizability. These results highlight the importance of modeling gaze-context interactions and the effectiveness of cross-modal interaction modeling for multimodal cognitive distraction detection. Our codes and CogDrive dataset resources are available at https://github.com/langzhang2000/EyeCue.
- Abstract(参考訳): ドライバー認知障害は道路衝突の主な原因であり、検出が困難である。
手動や視覚的注意散らしとは異なり、認知的注意散らしは、運転者が視覚的に注意を払っていて、明示的な身体運動を示さない場合でも、運転と無関係な思考によって引き起こされる。
本研究では,視線を用いた自我中心の映像理解フレームワークであるEyeCueを提案する。
重要な洞察は、認知的気晴らしが視線と視覚的コンテキストの相互作用に現れることである。
このインタラクションを捉えるために、EyeCueは視線と自我中心のビデオを統合し、時間とともにドライバーの注意をコンテキスト認識でモデリングできるようにする。
さらに、既存のデータセットの限られたスケールと多様性に取り組むために、CogDriveを紹介します。
CogDriveの広範な評価により、EyeCueの精度は74.38%に達し、6つのモデルファミリーの11のベースラインを7%以上上回る結果となった。
特にEyeCueは、様々な運転シナリオ(道路の種類、日時、気象条件)で70%以上の精度を高い一般化性で達成できる。
これらの結果は、視線-コンテキスト相互作用をモデル化することの重要性と、マルチモーダル認知障害検出のための相互モーダル相互作用モデリングの有効性を強調した。
私たちのコードとCagDriveデータセットリソースはhttps://github.com/langzhang2000/EyeCue.orgで公開されています。
関連論文リスト
- Seeing Beyond Views: Multi-View Driving Scene Video Generation with Holistic Attention [61.3281618482513]
高品質なマルチビュー駆動ビデオの合成を目的とした,新しいネットワークであるCogDrivingについて紹介する。
CogDriving は Diffusion Transformer アーキテクチャと holistic-4D attention module を活用し、次元間の同時結合を可能にする。
CogDrivingは、nuScenesバリデーションセットで強力なパフォーマンスを示し、FVDスコア37.8を達成し、リアルなドライビングビデオを生成する能力を強調している。
論文 参考訳(メタデータ) (2024-12-04T18:02:49Z) - Gaze-Informed Vision Transformers: Predicting Driving Decisions Under Uncertainty [5.006068984003071]
ビジョントランスフォーマー(ViT)は先進的なコンピュータビジョンを持っているが、運転のような複雑なタスクにおける有効性はいまだ研究されていない。
本研究は、視線を視線追跡によって捉え、不確実性の下での運転シナリオの予測精度を高めることにより、視線と視線を融合させることにより、視線を増強する。
論文 参考訳(メタデータ) (2023-08-26T22:48:06Z) - BI AVAN: Brain inspired Adversarial Visual Attention Network [67.05560966998559]
機能的脳活動から直接人間の視覚的注意を特徴付ける脳誘発対人視覚注意ネットワーク(BI-AVAN)を提案する。
本モデルは,人間の脳が監督されていない方法で焦点を絞った映画フレーム内の視覚的物体を識別・発見するために,注意関連・無視対象間の偏りのある競合過程を模倣する。
論文 参考訳(メタデータ) (2022-10-27T22:20:36Z) - Exploring Contextual Representation and Multi-Modality for End-to-End
Autonomous Driving [58.879758550901364]
最近の知覚システムは、センサー融合による空間理解を高めるが、しばしば完全な環境コンテキストを欠いている。
我々は,3台のカメラを統合し,人間の視野をエミュレートするフレームワークを導入し,トップダウンのバードアイビューセマンティックデータと組み合わせて文脈表現を強化する。
提案手法は, オープンループ設定において0.67mの変位誤差を達成し, nuScenesデータセットでは6.9%の精度で現在の手法を上回っている。
論文 参考訳(メタデータ) (2022-10-13T05:56:20Z) - Surround-View Cameras based Holistic Visual Perception for Automated
Driving [0.6091702876917281]
我々は,高い性能と低計算量を有する近接場認識アルゴリズムの開発に焦点をあてる。
コンピュータのこれらの能力は、自動運転車、拡張現実、アーキテクチャサーベイなど、さまざまな用途に欠かせない。
論文 参考訳(メタデータ) (2022-06-11T14:51:30Z) - Do Pedestrians Pay Attention? Eye Contact Detection in the Wild [75.54077277681353]
都市環境では、人間は近くの人々との迅速かつ効率的なコミュニケーションのためにアイコンタクトに依存している。
本稿では,環境や歩行者距離を制御できない自動運転車の眼球接触検出,すなわち実世界のシナリオに着目した。
本稿では, セマンティックキーポイントを利用したアイコンタクト検出モデルを導入し, このハイレベルな表現が, 一般公開データセットJAADの最先端結果を実現することを示す。
ドメイン適応を研究するために、私たちは、野生のアイコンタクト検出のための大規模データセット、LOOKを作成しました。
論文 参考訳(メタデータ) (2021-12-08T10:21:28Z) - Fine-Grained Vehicle Perception via 3D Part-Guided Visual Data
Augmentation [77.60050239225086]
実画像中の車両に動的部品を付加した3次元自動車モデルによる効果的なトレーニングデータ生成プロセスを提案する。
私達のアプローチは人間の相互作用なしで完全に自動です。
VUS解析用マルチタスクネットワークとVHI解析用マルチストリームネットワークを提案する。
論文 参考訳(メタデータ) (2020-12-15T03:03:38Z) - Heatmap-Based Method for Estimating Drivers' Cognitive Distraction [0.0]
本研究では,認知過程がドライバの視線行動に与える影響について検討した。
認知的注意散らしを推定するために,ドライバの視線分散の新たなイメージベース表現を提案する。
論文 参考訳(メタデータ) (2020-05-28T16:37:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。