論文の概要: TransGaze-Object: Transformer Based Driver Gaze Object Prediction Framework in Real Driving
- arxiv url: http://arxiv.org/abs/2609.10139v1
- Date: Wed, 09 Sep 2026 13:19:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:09.033108
- Title: TransGaze-Object: Transformer Based Driver Gaze Object Prediction Framework in Real Driving
- Title（参考訳）: TransGaze-Object: リアルタイム運転におけるトランスフォーマーベースドライバゲイズオブジェクト予測フレームワーク
- Abstract要約: 本稿では,TransformerベースのGaze Object予測モデルであるTransGaze-Objectを提案する。
提案フレームワークは、まず、顔および虹彩強調眼の特徴を含む顔の特徴と、交通対象空間の特徴を抽出する。
次に、変圧器に基づくクロスアテンション機構を用いて類似度スコアと注意重みを計算し、ドライバーが物体を視認する。
- 参考スコア（独自算出の注目度）: 2.9825856278689433
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Driver gaze provides information regarding driver visual attention and situational awareness to the surrounding traffic. Existing driver gaze estimation studies represent gaze in terms of gaze zone or gaze vector/point-of-gaze (PoG). However, object-level gaze information provides a more semantically meaningful representation of visual attention by identifying attended objects, such as vehicles, pedestrians, or traffic signals. In this study, we propose an end-to-end driver gaze object prediction framework, TransGaze-Object, Transformer-based Gaze Object prediction model. The proposed framework first extracts facial features, including face and iris-weighted eye features, along with trafficobject spatial features. A transformer based cross-attention mechanism is then used to compute similarity scores and attention weights for predicting the drivers gaze object. To train this model, we propose a benchmark driver gaze dataset, Urban Driving-Face Scene Gaze (UD-FSG), comprising synchronized driver-face and traffic-scene images, scene objects bounding boxes, and gaze labels in terms of 2D gaze coordinate and gaze object. The TransGaze-Object model achieves an overall accuracy of 60% for gaze-object prediction, compared to 51% accuracy obtained from associating the estimated Point-of-Gaze to traffic objects. The error analysis reveals that TransGaze-Object reduces confusion between traffic objects (predicted) and the background (ground-truth), achieving an error rate of 11.68%, a 49.7% relative reduction compared with 23.21% error obtained from PoG-based gaze-object association. Overall, the results demonstrate the effectiveness of directly predicting gaze objects from driver-face and traffic-scene information, rather than estimating an intermediate Point-of-Gaze and subsequently associating it with traffic objects.
- Abstract（参考訳）: ドライバーの視線は、ドライバーの視覚的注意と周囲の交通に対する状況認識に関する情報を提供する。
既存の運転者視線推定研究は、視線領域または視線ベクトル/視線点(PoG)の観点で視線を表現している。
しかし、オブジェクトレベルの視線情報は、車両、歩行者、交通信号などの出席対象を特定することによって、視覚的注意を意味的に意味的に表現する。
本研究では,TransformerベースのGaze Object予測モデルであるTransGaze-Objectを提案する。
提案フレームワークは、まず、顔および虹彩強調眼の特徴を含む顔の特徴と、交通対象空間の特徴を抽出する。
次に、変圧器に基づくクロスアテンション機構を用いて類似度スコアと注意重みを計算し、ドライバーが物体を視認する。
このモデルをトレーニングするために、同期運転者顔と交通シーンの画像、シーンオブジェクトのバウンディングボックス、および2次元視線座標および視線オブジェクトによる視線ラベルを含む、ベンチマークドライバの視線データセット、Urban Driving-Face Scene Gaze (UD-FSG)を提案する。
TransGaze-Objectモデルは、推定されたPoint-of-Gazeをトラフィックオブジェクトに関連付けることで得られる51%の精度と比較して、視線オブジェクト予測の全体的な60%の精度を達成する。
エラー解析の結果,TransGaze-Objectは交通物体(予測)と背景(地上)の混同を低減し,誤差率11.68%,相対減少率49.7%,PoGベースの視線オブジェクトアソシエーションから得られた23.21%と比較した。
その結果,運転者や交通現場の情報から視線オブジェクトを直接予測する効果が示された。
関連論文リスト
- SGAP-Gaze: Scene Grid Attention Based Point-of-Gaze Estimation Network for Driver Gaze [2.5160729549992795]
我々は,同期運転者顔画像と交通シーン画像からなるベンチマークデータセット,Urban Driving-Face Scene Gaze (UD-FSG)を提案する。
SGAP-Gaze, Scene-Grid Attention based Point-of-Gaze Estimation Networkを提案する。
提案したSGAP-Gazeモデルは、UD-FSGデータセットで104.73、LBWデータセットで63.48の平均画素誤差を達成し、平均画素誤差を23.5%削減する。
論文 参考訳（メタデータ） (2026-04-21T18:10:03Z) - Boosting Gaze Object Prediction via Pixel-level Supervision from Vision Foundation Model [19.800353299691277]
本稿では,人間の視線行動によって捉えた被写体に対応する画素レベルのマスクを推定する,より困難な視線オブジェクトセグメンテーション(GOS)タスクを提案する。
そこで本研究では,実環境におけるモデルの推論効率と柔軟性を確保するために,シーン特徴から頭部特徴を自動的に取得することを提案する。
論文 参考訳（メタデータ） (2024-08-02T06:32:45Z) - What Do You See in Vehicle? Comprehensive Vision Solution for In-Vehicle Gaze Estimation [18.155092199205907]
本稿では,車内視線研究を進めるための3つの新しい要素について述べる。
まず、車内視線を捉えた先駆的なデータセットであるIVGazeを紹介する。
第2に、IVGazeを利用した車内視線推定に焦点を当てた。
第3に、GazeDPTRを拡張することで、視線ゾーン分類の新しい戦略を探求する。
論文 参考訳（メタデータ） (2024-03-23T01:22:15Z) - TransGOP: Transformer-Based Gaze Object Prediction [27.178785186892203]
本稿では、視線オブジェクト予測の分野にトランスフォーマーを導入する。
本手法はTransGOPと呼ばれるエンドツーエンドのTransformerベースの視線オブジェクト予測手法を提案する。
論文 参考訳（メタデータ） (2024-02-21T07:17:10Z) - Joint Gaze-Location and Gaze-Object Detection [62.69261709635086]
現在、フレームガウン位置検出(GL-D)とガウンオブジェクト検出(GO-D)は2つの異なるタスクである。
本稿では,検出後の視線を合理化するために,検出後の下線Gazeを短縮したGTRを提案する。
GTRはGazeFollowingで12.1mAP、GL-DでVideoAttentionTargetで18.2mAP、GO-Dで19mAP向上を達成した。
論文 参考訳（メタデータ） (2023-08-26T12:12:24Z) - Object-aware Gaze Target Detection [14.587595325977583]
本稿では,シーン内の物体を自動的に検出し,頭部と視線・視線・視線を関連づけるトランスフォーマーアーキテクチャを提案する。
本手法は、視線目標検出のための全測定値の最先端結果と、視線対象物の分類と局所化のための平均精度を11-13%改善する。
論文 参考訳（メタデータ） (2023-07-18T22:04:41Z) - OpenLane-V2: A Topology Reasoning Benchmark for Unified 3D HD Mapping [84.65114565766596]
交通シーン構造を考慮したトポロジ推論のための最初のデータセットであるOpenLane-V2を提案する。
OpenLane-V2は2000のアノテートされた道路シーンで構成され、交通要素と車線との関係を記述している。
様々な最先端手法を評価し,OpenLane-V2の定量的,定性的な結果を示し,交通現場におけるトポロジ推論の今後の道筋を示す。
論文 参考訳（メタデータ） (2023-04-20T16:31:22Z) - Active Gaze Control for Foveal Scene Exploration [124.11737060344052]
本研究では,葉型カメラを用いた人間とロボットが現場を探索する方法をエミュレートする手法を提案する。
提案手法は,同数の視線シフトに対してF1スコアを2～3ポイント増加させる。
論文 参考訳（メタデータ） (2022-08-24T14:59:28Z) - Perceiving Traffic from Aerial Images [86.994032967469]
本研究では,空中画像中の物体を検出するために,バタフライ検出器と呼ばれる物体検出手法を提案する。
UAVDT(UAVDT)とVisDrone 2019(VisDrone 2019)の2つのUAVデータセット上でButterfly Detectorを評価し、従来の最先端の手法よりも高速に動作し、かつリアルタイムに動作可能であることを示す。
論文 参考訳（メタデータ） (2020-09-16T11:37:43Z) - Towards End-to-end Video-based Eye-Tracking [50.0630362419371]
画像のみから視線を推定することは、観察不可能な人固有の要因のために難しい課題である。
本稿では,これらの意味的関係と時間的関係を明確に学習することを目的とした,新しいデータセットとアタッチメント手法を提案する。
視覚刺激からの情報と視線画像の融合が,文献に記録された人物と同じような性能を達成することにつながることを実証した。
論文 参考訳（メタデータ） (2020-07-26T12:39:15Z) - Parsing-based View-aware Embedding Network for Vehicle Re-Identification [138.11983486734576]
本稿では,車載ReIDのビューアウェア機能アライメントと拡張を実現するために,解析に基づくPVEN(View-Aware Embedding Network)を提案する。
3つのデータセットで行った実験により、我々のモデルは最先端の手法よりも大きなマージンで優れていることが示された。
論文 参考訳（メタデータ） (2020-04-10T13:06:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。