論文の概要: SGAP-Gaze: Scene Grid Attention Based Point-of-Gaze Estimation Network for Driver Gaze
- arxiv url: http://arxiv.org/abs/2604.19888v1
- Date: Tue, 21 Apr 2026 18:10:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-23 15:36:10.737139
- Title: SGAP-Gaze: Scene Grid Attention Based Point-of-Gaze Estimation Network for Driver Gaze
- Title（参考訳）: SGAP-Gaze:ドライバ・ゲイズのためのシーングリッド注意に基づくポイント・オブ・ゲイズ推定ネットワーク
- Authors: Pavan Kumar Sharma, Pranamesh Chakraborty,
- Abstract要約: 我々は,同期運転者顔画像と交通シーン画像からなるベンチマークデータセット,Urban Driving-Face Scene Gaze (UD-FSG)を提案する。
SGAP-Gaze, Scene-Grid Attention based Point-of-Gaze Estimation Networkを提案する。
提案したSGAP-Gazeモデルは、UD-FSGデータセットで104.73、LBWデータセットで63.48の平均画素誤差を達成し、平均画素誤差を23.5%削減する。
- 参考スコア（独自算出の注目度）: 2.5160729549992795
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Driver gaze estimation is essential for understanding the driver's situational awareness of surrounding traffic. Existing gaze estimation models use driver facial information to predict the Point-of-Gaze (PoG) or the 3D gaze direction vector. We propose a benchmark dataset, Urban Driving-Face Scene Gaze (UD-FSG), comprising synchronized driver-face and traffic-scene images. The scene images provide cues about surrounding traffic, which can help improve the gaze estimation model, along with the face images. We propose SGAP-Gaze, Scene-Grid Attention based Point-of-Gaze estimation network, trained and tested on our UD-FSG dataset, which explicitly incorporates the scene images into the gaze estimation modelling. The gaze estimation network integrates driver face, eye, iris, and scene contextual information. First, the extracted features from facial modalities are fused to form a gaze intent vector. Then, attention scores are computed over the spatial scene grid using a Transformer-based attention mechanism fusing face and scene image features to obtain the PoG. The proposed SGAP-Gaze model achieves a mean pixel error of 104.73 on the UD-FSG dataset and 63.48 on LBW dataset, achieving a 23.5% reduction in mean pixel error compared to state-of-the-art driver gaze estimation models. The spatial pixel distribution analysis shows that SGAP-Gaze consistently achieves lower mean pixel error than existing methods across all spatial ranges, including the outer regions of the scene, which are rare but critical for understanding driver attention. These results highlight the effectiveness of integrating multi-modal gaze cues with scene-aware attention for a robust driver PoG estimation model in real-world driving environments.
- Abstract（参考訳）: ドライバーの視線推定は、ドライバーの周囲の交通に対する状況認識を理解するために不可欠である。
既存の視線推定モデルでは、ドライバーの顔情報を用いて、PoG(Point-of-Gaze)または3D視線方向ベクトルを予測する。
我々は,同期運転者顔画像と交通シーン画像からなるベンチマークデータセット,Urban Driving-Face Scene Gaze (UD-FSG)を提案する。
シーンイメージは周囲の交通に関する手がかりを提供し、顔画像とともに視線推定モデルを改善するのに役立つ。
SGAP-Gaze, Scene-Grid Attention based Point-of-Gaze Estimation Networkを提案する。
視線推定ネットワークは、運転者顔、目、虹彩、シーンコンテキスト情報を統合する。
まず、顔のモダリティから抽出した特徴を融合させて視線意図ベクトルを形成する。
そして、顔とシーン画像の特徴を融合させたTransformerベースのアテンション機構を用いて、空間シーングリッド上でアテンションスコアを算出し、PoGを得る。
提案したSGAP-Gazeモデルは、UD-FSGデータセットで104.73、LBWデータセットで63.48の平均画素誤差を達成し、最先端ドライバの視線推定モデルと比較して平均画素誤差を23.5%削減する。
空間画素分布解析により、SGAP-Gazeは、ドライバーの注意を理解できないが重要なシーンの外側領域を含む、すべての空間範囲にわたる既存の手法よりも低い平均画素誤差を連続的に達成していることが示された。
これらの結果は,実世界の運転環境におけるロバストドライバPoG推定モデルにおいて,マルチモーダルな視線キューとシーン認識の注意とを統合することの有効性を強調した。
関連論文リスト
- Beyond Scanpaths: Graph-Based Gaze Simulation in Dynamic Scenes [0.2039123720459736]
我々は、自己回帰力学系としての視線モデリングを定式化し、時間とともに生の視線軌跡を明示的にアンロールする。
私たちはまた、エゴ中心の運転映像を見ている30人の参加者による生の視線データのデータセットであるFocus100をリリースしました。
論文 参考訳（メタデータ） (2026-03-30T11:41:11Z) - GazeGen: Gaze-Driven User Interaction for Visual Content Generation [11.03973723295504]
本稿では,ユーザの視線で示される位置の視覚的コンテンツ(画像とビデオ)を生成するユーザインタラクションシステムであるGazeGenを紹介する。
オブジェクト検出と生成AIの高度な技術を使用して、GazeGenは、画像オブジェクトの視線制御された画像の追加/削除、再配置、および表面スタイルの変更を実行し、静的イメージをビデオに変換する。
GazeGenの中心は、281Kパラメータしか持たない超軽量モデルであるDFT Gazeエージェントである。
論文 参考訳（メタデータ） (2024-11-07T00:22:38Z) - What Do You See in Vehicle? Comprehensive Vision Solution for In-Vehicle Gaze Estimation [18.155092199205907]
本稿では,車内視線研究を進めるための3つの新しい要素について述べる。
まず、車内視線を捉えた先駆的なデータセットであるIVGazeを紹介する。
第2に、IVGazeを利用した車内視線推定に焦点を当てた。
第3に、GazeDPTRを拡張することで、視線ゾーン分類の新しい戦略を探求する。
論文 参考訳（メタデータ） (2024-03-23T01:22:15Z) - A Review of Driver Gaze Estimation and Application in Gaze Behavior
Understanding [2.020578082776547]
運転者視線は、運転者の注意力検出、視覚的注意障害検出、視線行動理解、運転支援システム構築など、さまざまな視線ベースのアプリケーションにおいて重要な役割を果たす。
本研究は,運転者視線の基礎,運転者視線推定方法,実世界の運転シナリオにおける応用の総合的な要約を行う。
論文 参考訳（メタデータ） (2023-07-04T04:29:03Z) - Street-View Image Generation from a Bird's-Eye View Layout [95.36869800896335]
近年,Bird's-Eye View (BEV) の知覚が注目されている。
自動運転のためのデータ駆動シミュレーションは、最近の研究の焦点となっている。
本稿では,現実的かつ空間的に一貫した周辺画像を合成する条件生成モデルであるBEVGenを提案する。
論文 参考訳（メタデータ） (2023-01-11T18:39:34Z) - Monocular BEV Perception of Road Scenes via Front-to-Top View Projection [57.19891435386843]
本稿では,鳥の目視で道路配置と車両占有率によって形成された局所地図を再構築する新しい枠組みを提案する。
我々のモデルは1つのGPU上で25FPSで動作し、リアルタイムパノラマHDマップの再構築に有効である。
論文 参考訳（メタデータ） (2022-11-15T13:52:41Z) - Active Gaze Control for Foveal Scene Exploration [124.11737060344052]
本研究では,葉型カメラを用いた人間とロボットが現場を探索する方法をエミュレートする手法を提案する。
提案手法は,同数の視線シフトに対してF1スコアを2～3ポイント増加させる。
論文 参考訳（メタデータ） (2022-08-24T14:59:28Z) - Weakly-Supervised Physically Unconstrained Gaze Estimation [80.66438763587904]
我々は、人間のインタラクションのビデオから弱教師付き視線推定を行うという未発見の問題に対処する。
本稿では,タスクに特化して設計された新しい損失関数とともに,トレーニングアルゴリズムを提案する。
a)半教師付き視線推定の精度と(b)最先端の物理的に制約のないGaze360視線推定ベンチマーク上でのクロスドメイン一般化の精度を大幅に改善した。
論文 参考訳（メタデータ） (2021-05-20T14:58:52Z) - Dual In-painting Model for Unsupervised Gaze Correction and Animation in
the Wild [82.42401132933462]
視線角度と頭部ポーズの正確なアノテーションを必要とせずに機能する解を提案する。
我々の手法は3つの新しいモジュールからなる: Gaze Correction Module (GCM)、 Gaze Animation Module (GAM)、 Pretrained Autoencoder Module (PAM)。
論文 参考訳（メタデータ） (2020-08-09T23:14:16Z) - ETH-XGaze: A Large Scale Dataset for Gaze Estimation under Extreme Head
Pose and Gaze Variation [52.5465548207648]
ETH-XGazeは100万以上の高解像度画像からなる新しい視線推定データセットである。
我々のデータセットは、異なる頭部ポーズと視線角度で視線推定手法のロバスト性を大幅に改善できることを示す。
論文 参考訳（メタデータ） (2020-07-31T04:15:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。