論文の概要: GazeFlow: From Human Gaze Behavior to Generative Egocentric Gaze Prediction
- arxiv url: http://arxiv.org/abs/2609.38519v1
- Date: Tue, 29 Sep 2026 20:39:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.720754
- Title: GazeFlow: From Human Gaze Behavior to Generative Egocentric Gaze Prediction
- Title（参考訳）: GazeFlow: ヒューマン・ゲイズ行動からジェネレーティブ・エゴセントリック・ゲイズ予測へ
- Abstract要約: 本稿では,トップダウン情報とボトムアップ情報の両方に基づいて,視線を時間的視線位置の同時分布としてモデル化するフレームワークであるGazeFlowを紹介する。
標準的なデータセットでは、GazeFlowはフレーム単位のメトリクスで最先端のパフォーマンスを実現し、生成されたトラジェクトリは人間の視線時間ダイナミクスとよく一致している。
- 参考スコア（独自算出の注目度）: 24.640846134232138
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Egocentric gaze prediction enables many downstream applications but remains challenging, as human gaze is inherently stochastic. This stochasticity is constrained by structured temporal dynamics alternating between fixations and saccades, top-down influences from tasks, and bottom-up visual saliency. Based on this observation, we introduce GazeFlow, a framework that directly models gaze as a joint distribution of temporal gaze positions conditioned upon both top-down and bottom-up information. In particular, GazeFlow uses conditional flow matching (CFM): a learned velocity field iteratively transports a Gaussian noise sample into a plausible gaze trajectory drawn from this joint distribution. The velocity field is conditioned on bottom-up visual features extracted by a video encoder and on top-down task information obtained by globally querying these features. On standard datasets, GazeFlow achieves state-of-the-art performance on per-frame metrics, and the generated trajectories align better with human gaze temporal dynamics.
- Abstract（参考訳）: エゴセントリックな視線予測は下流の多くの応用を可能にするが、人間の視線は本質的に確率的であるため、依然として困難である。
この確率性は、固定とササードの交互に変化する時間的ダイナミクス、タスクによるトップダウンの影響、ボトムアップの視覚的サリエンシによって制約される。
この観測に基づいて,トップダウン情報とボトムアップ情報の両方に基づいて,視線を時間的視線位置の同時分布として直接モデル化するフレームワークであるGazeFlowを紹介した。
特に、GazeFlowは条件付きフローマッチング(CFM)を用いており、学習速度場はガウスノイズサンプルをこの関節分布から引き出された可視光軌道に反復的に輸送する。
速度場は、ビデオエンコーダによって抽出されたボトムアップ視覚特徴と、これらの特徴をグローバルに照会して得られるトップダウンタスク情報に基づいて条件付けられる。
標準的なデータセットでは、GazeFlowはフレーム単位のメトリクスで最先端のパフォーマンスを実現し、生成されたトラジェクトリは人間の視線時間ダイナミクスとよく一致している。
関連論文リスト
- ST-DiffEye: Diffusion-based Continuous Gaze Generation via Joint Scanpath-Trajectory Modeling [36.51837241351688]
視覚刺激を観察しながら視線パターンを生成することを目的とした人間の視線モデリングの課題について検討する。
視線は視聴者やトライアルによって大きく異なるため、この可変性はノイズやモデル視線を生成過程としてではなく、定義特性として扱う。
本稿では,ST-DiffEyeについて紹介する。ST-DiffEyeは,両モードを付加的な生入力チャネルとして結合することで,両モードを結合する共振器拡散フレームワークである。
論文 参考訳（メタデータ） (2026-06-13T21:56:08Z) - Enhancing Eye Feature Estimation from Event Data Streams through Adaptive Inference State Space Modeling [68.1289208938377]
イベントベースのデータストリームから目の特徴抽出を効率的かつ低エネルギーで行うことができる。
本稿では,特徴抽出のための新しいアーキテクチャである強調型推論状態空間モデル(AISSM)を紹介する。
また、トレーニング効率を向上させる新しい学習手法を開発・評価する。
論文 参考訳（メタデータ） (2026-03-14T18:47:08Z) - Learning Spatio-Temporal Feature Representations for Video-Based Gaze Estimation [50.05866669110754]
映像に基づく視線推定手法は、複数の画像フレームから人間の視線の本質的な時間的ダイナミクスを捉えることを目的としている。
本稿では、CNNバックボーンと専用のチャンネルアテンションと自己注意モジュールを組み合わせたモデルであるSpatio-Temporal Gaze Network(ST-Gaze)を提案する。
そこで本研究では,ST-Gazeが個人固有の適応を伴わずとも最先端の性能を達成することを示す。
論文 参考訳（メタデータ） (2025-12-19T15:15:58Z) - StreamGaze: Gaze-Guided Temporal Reasoning and Proactive Understanding in Streaming Videos [128.45606644157]
StreamGazeは、MLLMがストリーミングビデオにおける時間的および前向きな推論において、いかに効果的に視線を使用するかを評価する最初のベンチマークである。
我々は、エゴセントリックなビデオと生の視線軌跡を整列する視線ビデオQA生成パイプラインを開発した。
我々は、最先端のMLLMと人的パフォーマンスの相違をかなり観察する。
論文 参考訳（メタデータ） (2025-12-01T14:15:44Z) - Graph Flow Matching: Enhancing Image Generation with Neighbor-Aware Flow Fields [19.09766809443072]
フローマッチングはサンプル生成を,データにノイズを伝達する連続時間速度場学習として使用する。
学習速度を反応項に分解する軽量な拡張であるグラフフローマッチングを提案する。
事前訓練された変分オートエンコーダの潜伏空間で作動する。
論文 参考訳（メタデータ） (2025-05-30T10:17:50Z) - TPP-Gaze: Modelling Gaze Dynamics in Space and Time with Neural Temporal Point Processes [63.95928298690001]
ニューラル・テンポラル・ポイント・プロセス(TPP)に基づく新規かつ原則化されたスキャンパスダイナミクスのアプローチであるTPP-Gazeを提案する。
提案手法は,最先端手法と比較して総合的に優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-30T19:22:38Z) - Modeling State Shifting via Local-Global Distillation for Event-Frame Gaze Tracking [61.44701715285463]
本稿では,イベントデータとフレームデータの両方を用いた受動的視線推定の問題に取り組む。
我々は、現在の状態からいくつかの事前登録されたアンカー状態に移行する状態の定量化として、視線推定を再構成する。
大規模視線推定ネットワークを直接学習する代わりに,地域の専門家グループと学生ネットワークを連携させることにより,一般化能力の向上を図る。
論文 参考訳（メタデータ） (2024-03-31T03:30:37Z) - GAFlow: Incorporating Gaussian Attention into Optical Flow [62.646389181507764]
我々はガウス的注意(GA)を光学フローモデルに押し込み、表現学習中に局所特性をアクセントする。
本稿では,既存の Transformer ブロックに簡単に接続可能な新しい Gaussian-Constrained Layer (GCL) を提案する。
動作解析のための新しいガウス誘導注意モジュール(GGAM)を提供する。
論文 参考訳（メタデータ） (2023-09-28T07:46:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。