論文の概要: ST-DiffEye: Diffusion-based Continuous Gaze Generation via Joint Scanpath-Trajectory Modeling

• arxiv url: http://arxiv.org/abs/2606.15486v1
• Date: Sat, 13 Jun 2026 21:56:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.656075
• Title: ST-DiffEye: Diffusion-based Continuous Gaze Generation via Joint Scanpath-Trajectory Modeling
• Title（参考訳）: ST-DiffEye:ジョイント・スキャンパス・トラジェクトリ・モデリングによる拡散型連続ガス発生
• Authors: Brian Nlong Zhao, Ozgur Kara, Junho Kim, James M. Rehg,
• Abstract要約: 視覚刺激を観察しながら視線パターンを生成することを目的とした人間の視線モデリングの課題について検討する。 視線は視聴者やトライアルによって大きく異なるため、この可変性はノイズやモデル視線を生成過程としてではなく、定義特性として扱う。 本稿では,ST-DiffEyeについて紹介する。ST-DiffEyeは,両モードを付加的な生入力チャネルとして結合することで,両モードを結合する共振器拡散フレームワークである。
• 参考スコア（独自算出の注目度）: 36.51837241351688
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We study the problem of human gaze modeling, which aims to generate the gaze patterns a viewer produces while observing a visual stimulus. Gaze is primarily captured through two modalities: continuous eye-tracking trajectories, which describe fine-grained motion dynamics, and discrete scanpaths, which describe high-level fixation structure. Because gaze varies substantially across viewers and trials, we treat this variability as a defining property rather than noise and model gaze as a stochastic generative process. Existing generative gaze models supervise on only one of these two representations in isolation. We hypothesize that trajectories and scanpaths describe gaze at complementary scales and are jointly informative during training, and test this hypothesis through ST-DiffEye, a joint trajectory-scanpath diffusion framework that couples both modalities by concatenating them as an additional raw input channel, requiring no architectural overhead beyond an input and output channel expansion. We further introduce a principled evaluation framework based on the Continuous Ranked Probability Score (CRPS), which generalizes any existing sequence similarity metric into a proper scoring rule that jointly assesses the accuracy and diversity of generated gaze. Experiments on task-driven visual search, covering both target-present and target-absent scenarios, and on free-viewing benchmarks demonstrate state-of-the-art performance. These results, along with detailed ablations, confirm the benefit of joint modeling and the value of distribution-aware evaluation in capturing the intrinsic variability of human gaze. Project webpage: https://st-diffeye.github.io/
• Abstract（参考訳）: 視覚刺激を観察しながら視線パターンを生成することを目的とした人間の視線モデリングの課題について検討する。 迷路は主に、微細な運動力学を記述した連続的な視線追跡軌道と、高レベルの固定構造を記述する離散走査パスの2つのモードによって捉えられる。 視線は視聴者やトライアルによって大きく異なるため、この可変性はノイズやモデル視線を確率的生成過程として扱うのではなく、決定的な性質として扱う。 既存の生成的視線モデルは、これらの2つの表現のうちの1つを独立して監督する。 我々は、相補的なスケールで視線を表現し、訓練中に共同で情報を提供すると仮定し、この仮説をST-DiffEyeを通して検証する。 さらに,CRPS(Continuous Ranked Probability Score)に基づく基本的評価フレームワークを導入し,既存のシーケンス類似度尺度を,生成した視線の精度と多様性を協調的に評価する適切なスコアルールに一般化する。 タスク駆動型ビジュアルサーチの実験では、目標現在と目標達成シナリオの両方をカバーし、フリービューのベンチマークでは、最先端のパフォーマンスを示す。 これらの結果は, 詳細な説明とともに, 共同モデリングの利点と, 人眼の内在的変動を捉える上での分布認識評価の意義を裏付けるものである。 プロジェクトWebページ: https://st-diffeye.github.io/

関連論文リスト

• GeodesicNVS: Probability Density Geodesic Flow Matching for Novel View Synthesis [54.39598154430305]
  本稿では,ペアビュー間の決定論的変換を直接学習するデータ間フローマッチングフレームワークを提案する。 PDG-FMは、事前訓練された拡散モデルの確率密度測定値から導かれる測地的補間剤を用いて流れの軌跡を制約する。 これらの結果は、一貫した新しいビュー生成のための決定論的フローマッチングにデータ依存の幾何正規化を組み込むことの利点を強調している。
  論文  参考訳（メタデータ） (2026-03-01T09:30:11Z)
• Predicting Region of Interest in Human Visual Search Based on Statistical Texture and Gabor Features [2.444076158087882]
  初期視覚探索行動のモデル化において,Gabor-based features と Grag-level co-occurrence matrix (GLCM) based texture features の関係について検討した。 GaborとGLCMの機能を統合するために,2つの機能結合パイプラインが提案されている。
  論文  参考訳（メタデータ） (2026-01-12T21:06:23Z)
• Mind-the-Glitch: Visual Correspondence for Detecting Inconsistencies in Subject-Driven Generation [120.23172120151821]
  本稿では,事前学習した拡散モデルのバックボーンから視覚的特徴と意味的特徴を分離するための新しいアプローチを提案する。 注釈付きセマンティックと視覚対応を備えた画像ペアを構築する自動パイプラインを導入する。 被験者駆動画像生成における視覚的不整合を定量化する新しい指標であるビジュアルセマンティックマッチングを提案する。
  論文  参考訳（メタデータ） (2025-09-26T07:11:55Z)
• DiffEye: Diffusion-Based Continuous Eye-Tracking Data Generation Conditioned on Natural Images [24.810828226931605]
  DiffEyeは拡散に基づく訓練フレームワークで、自然画像の自由視聴中に連続的で多様な眼球運動軌跡をモデル化する。 スキャンパスに頼るのではなく、生の視線追跡トラジェクトリを活用することで、DiffEyeは人間の視線行動に固有の変動を捉える。 生成された軌跡はスキャンパスやサリエンシマップに変換することもでき、その結果、人間の視覚的注意の分布をより正確に反映する出力が得られる。
  論文  参考訳（メタデータ） (2025-09-20T18:20:51Z)
• Generalized Visual Relation Detection with Diffusion Models [94.62313788626128]
  視覚的関係検出(VRD)は、画像内のオブジェクトペア間の関係(または相互作用)を特定することを目的としている。 本稿では,視覚的関係を連続的な埋め込みとしてモデル化し,一般化されたVRDを条件付き生成方法で実現するための拡散モデルの設計を提案する。 我々のDiff-VRDは、予め定義されたデータセットのカテゴリラベルを超えて、視覚的な関係を生成できる。
  論文  参考訳（メタデータ） (2025-04-16T14:03:24Z)
• Skeleton-based Action Recognition through Contrasting Two-Stream Spatial-Temporal Networks [11.66009967197084]
  本稿では,空間的および時間的モジュールを並列に融合するContrastive GCN-Transformer Network(ConGT)を提案する。 我々は3つのベンチマークデータセットで実験を行い、このモデルが動作認識における最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-01-27T02:12:08Z)
• Consistency Regularization for Deep Face Anti-Spoofing [69.70647782777051]
  顔認証システムでは、顔認証(FAS)が重要な役割を担っている。 このエキサイティングな観察によって、異なる視点の特徴整合性を促進することが、FASモデルを促進するための有望な方法かもしれないと推測する。 FASにおけるEPCR(Embeddding-level and Prediction-level Consistency Regularization)とEPCR(Embeddding-level Consistency Regularization)を併用した。
  論文  参考訳（メタデータ） (2021-11-24T08:03:48Z)
• Parameter Decoupling Strategy for Semi-supervised 3D Left Atrium Segmentation [0.0]
  本稿では,パラメータ分離戦略に基づく半教師付きセグメンテーションモデルを提案する。 提案手法は,Atrial Challengeデータセット上での最先端の半教師付き手法と競合する結果を得た。
  論文  参考訳（メタデータ） (2021-09-20T14:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。