論文の概要: Learning Spatio-Temporal Feature Representations for Video-Based Gaze Estimation

• arxiv url: http://arxiv.org/abs/2512.17673v1
• Date: Fri, 19 Dec 2025 15:15:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-22 19:25:54.455314
• Title: Learning Spatio-Temporal Feature Representations for Video-Based Gaze Estimation
• Title（参考訳）: 映像に基づく視線推定のための時空間特徴表現の学習
• Authors: Alexandre Personnic, Mihai Bâce,
• Abstract要約: 映像に基づく視線推定手法は、複数の画像フレームから人間の視線の本質的な時間的ダイナミクスを捉えることを目的としている。 本稿では、CNNバックボーンと専用のチャンネルアテンションと自己注意モジュールを組み合わせたモデルであるSpatio-Temporal Gaze Network(ST-Gaze)を提案する。 そこで本研究では,ST-Gazeが個人固有の適応を伴わずとも最先端の性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 50.05866669110754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video-based gaze estimation methods aim to capture the inherently temporal dynamics of human eye gaze from multiple image frames. However, since models must capture both spatial and temporal relationships, performance is limited by the feature representations within a frame but also between multiple frames. We propose the Spatio-Temporal Gaze Network (ST-Gaze), a model that combines a CNN backbone with dedicated channel attention and self-attention modules to fuse eye and face features optimally. The fused features are then treated as a spatial sequence, allowing for the capture of an intra-frame context, which is then propagated through time to model inter-frame dynamics. We evaluated our method on the EVE dataset and show that ST-Gaze achieves state-of-the-art performance both with and without person-specific adaptation. Additionally, our ablation study provides further insights into the model performance, showing that preserving and modelling intra-frame spatial context with our spatio-temporal recurrence is fundamentally superior to premature spatial pooling. As such, our results pave the way towards more robust video-based gaze estimation using commonly available cameras.
• Abstract（参考訳）: 映像に基づく視線推定手法は、複数の画像フレームから人間の視線の本質的な時間的ダイナミクスを捉えることを目的としている。 しかし、モデルが空間的・時間的関係を捉える必要があるため、フレーム内の特徴表現だけでなく、複数のフレーム間の特徴表現によって性能が制限される。 本稿では、CNNバックボーンと専用のチャンネルアテンションと自己注意モジュールを組み合わせ、視線と顔の特徴を最適に融合させるモデルである、時空間迷路ネットワーク(ST-Gaze)を提案する。 融合した特徴は空間シーケンスとして扱われ、フレーム内のコンテキストをキャプチャし、時間をかけてフレーム間のダイナミクスをモデル化する。 提案手法をEVEデータセット上で評価し,ST-Gazeが個人固有の適応を伴わずとも最先端の性能を達成することを示す。 さらに,我々のアブレーション研究は,フレーム内空間コンテキストの保存とモデル化が早めの空間プールよりも根本的に優れていることを示すモデル性能に関するさらなる知見を提供する。 その結果,一般的なカメラを用いたより堅牢な視線推定が可能となった。

関連論文リスト

• DVLTA-VQA: Decoupled Vision-Language Modeling with Text-Guided Adaptation for Blind Video Quality Assessment [17.85550556489256]
  本稿では,Blind Video Quality Assessment (DVLTA-VQA) のためのテキストガイド適応を用いたデカップリング型視覚言語モデルを提案する。 ビデオベーステンポラルCLIPモジュールは、時間的ダイナミクスを明示的にモデル化し、背側ストリームと整合して運動知覚を高める。 時間的コンテキストモジュールは、フレーム間の依存関係を洗練し、モーションモデリングをさらに改善するために開発されている。 最後に、空間情報と時間情報のより効果的な統合を可能にするために、テキスト誘導型適応融合戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-16T03:20:28Z)
• STGFormer: Spatio-Temporal GraphFormer for 3D Human Pose Estimation in Video [7.345621536750547]
  本稿では,ビデオ中の3次元ポーズ推定のためのS-Temporal GraphFormerフレームワーク(STGFormer)を提案する。 まず,人体固有のグラフ分布をより効果的に活用するためのSTGアテンション機構を導入する。 次に、時間次元と空間次元を独立に並列に処理するための変調ホップワイド正規GCNを提案する。 最後に,Human3.6MおよびMPIINF-3DHPデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-07-14T06:45:27Z)
• Leaping Into Memories: Space-Time Deep Feature Synthesis [93.10032043225362]
  内部モデルから映像を合成するアーキテクチャ非依存の手法であるLEAPSを提案する。 我々は,Kineetics-400に基づく多種多様なアーキテクチャの進化的注目を反転させることにより,LEAPSの適用性を定量的かつ定性的に評価する。
  論文  参考訳（メタデータ） (2023-03-17T12:55:22Z)
• STDepthFormer: Predicting Spatio-temporal Depth from Video with a Self-supervised Transformer Model [0.0]
  ビデオ入力と空間的時間的注意ネットワークから,映像のフレーム列を同時に予測する自己教師型モデルを提案する。 提案モデルでは,物体形状やテクスチャなどの事前のシーン知識を,単一画像深度推定法に類似した手法で活用する。 マルチオブジェクト検出、セグメンテーション、トラッキングを含む複雑なモデルを必要とするのではなく、暗黙的にシーン内のオブジェクトの動きを予測することができる。
  論文  参考訳（メタデータ） (2023-03-02T12:22:51Z)
• Spatio-Temporal Self-Attention Network for Video Saliency Prediction [13.873682190242365]
  3D畳み込みニューラルネットワークは、コンピュータビジョンにおけるビデオタスクに対して有望な結果を得た。 本稿では,ビデオ・サリエンシ予測のための時空間自己注意3ネットワーク(STSANet)を提案する。
  論文  参考訳（メタデータ） (2021-08-24T12:52:47Z)
• Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos [78.45050529204701]
  クロススケール空間時空間相関をモデル化し, 識別的, 堅牢な表現を追求する新しい枠組みを提案する。 CTLはCNNバックボーンとキーポイント推定器を使用して人体から意味的局所的特徴を抽出する。 グローバルな文脈情報と人体の物理的接続の両方を考慮して、多スケールグラフを構築するためのコンテキスト強化トポロジーを探求する。
  論文  参考訳（メタデータ） (2021-04-15T14:32:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。