論文の概要: GazeDiT: Gaze-Accurate Diffusion Image Generation for Eye Tracking via Spatial Conditioning
- arxiv url: http://arxiv.org/abs/2609.17814v1
- Date: Tue, 15 Sep 2026 20:30:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.534852
- Title: GazeDiT: Gaze-Accurate Diffusion Image Generation for Eye Tracking via Spatial Conditioning
- Title（参考訳）: GazeDiT:空間条件による視線追跡のための視線正確な拡散画像生成
- Abstract要約: 本稿では,空間的条件によって要求された4次元視線画像を生成する拡散モデルGazeDiTを紹介する。
トレーニング中、凍結したSegFormerは、さまざまな実画像から瞳孔と虹彩の幾何学を抽出し、その幾何学に基づいて現実的な外観を学習する。
生成されたデータは、下流のアイトラッカーを改善し、最も小さなコホートでは、難しいケースの視線誤差を3.05から2.80に低減する。
- 参考スコア（独自算出の注目度）: 13.371875633607518
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models are increasingly used to generate synthetic training data, but precise label control remains difficult when the conditioning signal is low-dimensional and coarse. Text-conditioned images are judged by broad prompt consistency, whereas supervised training requires precise correspondence between each image and its numerical label. This is challenging in eye tracking, where a 4D binocular gaze is expressed through subtle, spatially localized pupil and iris geometry. We introduce GazeDiT, a diffusion model that generates images for a requested 4D gaze through an internally constructed spatial condition that grounds the global gaze label in this local geometry. During training, a frozen SegFormer extracts pupil/iris geometry from diverse real images, allowing the model to learn realistic appearance conditioned on that geometry. At inference, a physical eye renderer samples gaze-consistent geometries by varying anatomy and camera state, enabling diverse synthesis without a source image. GazeDiT achieves substantially lower tail gaze-label error than other diffusion baselines, approaching the error of the same frozen gaze estimator on real images. Its generated data also improves the downstream eye tracker, reducing gaze error on difficult cases from 3.05° to 2.80° in the smallest cohort.
- Abstract（参考訳）: 拡散モデルは、合成トレーニングデータを生成するためにますます使われているが、条件信号が低次元で粗い場合、正確なラベル制御は難しいままである。
テキスト条件付き画像は広範囲のプロンプト一貫性によって判断されるが、教師付きトレーニングでは各画像とその数値ラベルの正確な対応が必要である。
眼球追跡では、4D双眼鏡は微妙で空間的に局在した瞳孔と虹彩形状によって表現される。
本稿では,この局所幾何学におけるグローバルな視線ラベルを基礎とした空間条件により,要求された4次元視線の画像を生成する拡散モデルGazeDiTを紹介する。
トレーニング中、凍結したSegFormerは、さまざまな実画像から瞳孔と虹彩の幾何学を抽出し、その幾何学に基づいて現実的な外観を学習する。
推測において、物理アイレンダラは、様々な解剖学的およびカメラ状態によって、視線に一貫性のあるジオメトリをサンプリングし、ソース画像なしで多様な合成を可能にする。
GazeDiTは、他の拡散ベースラインよりもかなり低い尾の視線ラベル誤差を達成し、実際の画像上で同じ凍結した視線推定器の誤差にアプローチする。
生成されたデータは、下流のアイトラッカーを改善し、最も小さなコホートでは、難しいケースの視線誤差を3.05°から2.80°に下げる。
関連論文リスト
- Joint Geometry-Appearance Human Reconstruction in a Unified Latent Space via Bridge Diffusion [57.09673862519791]
本稿では,幾何学と外観のモデリングを結合潜在表現に統一する新しいフレームワークである textbfJGA-LBD を紹介する。
実験により、JGA-LBDは、幾何学的忠実度と外観品質の両方の観点から、現在の最先端アプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2026-01-01T12:48:56Z) - 3D Gaussian and Diffusion-Based Gaze Redirection [0.05097809301149341]
DiT-Gazeは、3D視線リダイレクトモデルを強化するフレームワークである。
実験により、DiT-Gazeは知覚的品質とリダイレクト精度の両方において、新しい最先端を設定できることが示されている。
論文 参考訳（メタデータ） (2025-11-14T12:32:22Z) - Curved Diffusion: A Generative Model With Optical Geometry Control [56.24220665691974]
最終シーンの外観に対する異なる光学系の影響は、しばしば見過ごされる。
本研究では,画像レンダリングに使用される特定のレンズとテキスト画像拡散モデルを密接に統合するフレームワークを提案する。
論文 参考訳（メタデータ） (2023-11-29T13:06:48Z) - Model-aware 3D Eye Gaze from Weak and Few-shot Supervisions [60.360919642038]
本稿では,眼意味分類マスクの弱い監督と数個の3次元視線ベクトルの直接監督から3次元視線を予測することを提案する。
多様な環境下での実験では,提案手法の利点が示され,ベースラインの角度誤差が約5度低くなった。
論文 参考訳（メタデータ） (2023-11-20T20:22:55Z) - Accurate Gaze Estimation using an Active-gaze Morphable Model [9.192482716410511]
画像から直接視線方向を後退させるのではなく、3次元形状モデルを追加することで視線推定精度が向上することを示す。
我々はこれを幾何学的頂点モデルに当てはめ、アクティブ・ゲイズ3DMMを与える。
本手法は,地上の真理視原点にアクセスすることなく,地上の真理視原点とカメラパラメータのみを用いて学習することができる。
論文 参考訳（メタデータ） (2023-01-30T18:51:14Z) - 3DGazeNet: Generalizing Gaze Estimation with Weak-Supervision from
Synthetic Views [67.00931529296788]
本稿では,適応を伴わない新しい環境に直接適用可能な一般的な視線推定モデルを訓練することを提案する。
視覚的擬似アノテーションを用いた多彩な顔の大規模データセットを作成し、シーンの3次元形状に基づいて抽出する。
本研究では,本手法を視線一般化タスクにおいて検証し,真理データが得られない場合の最先端技術と比較して最大30%の改善を実証する。
論文 参考訳（メタデータ） (2022-12-06T14:15:17Z) - 360-Degree Gaze Estimation in the Wild Using Multiple Zoom Scales [26.36068336169795]
焦点を絞った表情から視線を推定する能力を模倣するモデルを開発した。
このモデルは、クリアアイパッチを抽出する必要がない。
モデルを拡張して、360度視線推定の課題に対処する。
論文 参考訳（メタデータ） (2020-09-15T08:45:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。