論文の概要: Roll Your Eyes: Gaze Redirection via Explicit 3D Eyeball Rotation
- arxiv url: http://arxiv.org/abs/2508.06136v1
- Date: Fri, 08 Aug 2025 08:56:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-11 20:39:06.158449
- Title: Roll Your Eyes: Gaze Redirection via Explicit 3D Eyeball Rotation
- Title（参考訳）: 3D眼球回転による視線リダイレクト(動画あり)
- Authors: YoungChan Choi, HengFei Wang, YiHua Cheng, Boeun Kim, Hyung Jin Chang, YoungGeun Choi, Sang-Il Choi,
- Abstract要約: 本稿では,明快な3次元眼球構造を利用した新しい3次元視線リダイレクトフレームワークを提案する。
本手法は, 3次元眼球構造を明示的に回転・翻訳することにより, 所望の視線方向を忠実に再現するフォトリアリスティック画像を生成する。
- 参考スコア（独自算出の注目度）: 18.60333857047581
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel 3D gaze redirection framework that leverages an explicit 3D eyeball structure. Existing gaze redirection methods are typically based on neural radiance fields, which employ implicit neural representations via volume rendering. Unlike these NeRF-based approaches, where the rotation and translation of 3D representations are not explicitly modeled, we introduce a dedicated 3D eyeball structure to represent the eyeballs with 3D Gaussian Splatting (3DGS). Our method generates photorealistic images that faithfully reproduce the desired gaze direction by explicitly rotating and translating the 3D eyeball structure. In addition, we propose an adaptive deformation module that enables the replication of subtle muscle movements around the eyes. Through experiments conducted on the ETH-XGaze dataset, we demonstrate that our framework is capable of generating diverse novel gaze images, achieving superior image quality and gaze estimation accuracy compared to previous state-of-the-art methods.
- Abstract（参考訳）: 本稿では,明快な3次元眼球構造を利用した新しい3次元視線リダイレクトフレームワークを提案する。
既存の視線リダイレクト法は典型的には、ボリュームレンダリングによる暗黙の神経表現を使用する神経放射場に基づいている。
3D表現の回転と変換が明示的にモデル化されていないこれらのNeRFベースのアプローチとは異なり、我々は3Dガウススプラッティング(3DGS)で眼球を表現する専用の3D眼球構造を導入する。
本手法は, 3次元眼球構造を明示的に回転・翻訳することにより, 所望の視線方向を忠実に再現するフォトリアリスティック画像を生成する。
また,眼周囲の微妙な筋運動の再現を可能にする適応変形モジュールを提案する。
ETH-XGazeデータセットで行った実験により、我々のフレームワークは様々な新しい視線画像を生成することができ、従来の最先端手法と比較して優れた画質と視線推定精度が得られることを示した。
関連論文リスト
- EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。
本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
論文 参考訳（メタデータ） (2025-03-26T02:47:27Z) - Neural Radiance and Gaze Fields for Visual Attention Modeling in 3D Environments [6.311952721757901]
我々は3次元シーンにおける視覚的注意パターンを表現するための新しいアプローチとしてニューラルレージアンスとゲイズフィールド(NeRGs)を紹介した。
本システムでは,予めトレーニングしたニューラルレージアンスフィールド(NeRF)を用いて3次元シーンの2次元ビューを描画し,任意の観測位置の視線場を可視化する。
論文 参考訳（メタデータ） (2025-03-10T20:18:42Z) - NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。
我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
論文 参考訳（メタデータ） (2024-11-25T07:57:17Z) - Text2Control3D: Controllable 3D Avatar Generation in Neural Radiance
Fields using Geometry-Guided Text-to-Image Diffusion Model [39.64952340472541]
本稿では,表情を制御可能な制御可能なテキスト・ツー・3Dアバター生成手法を提案する。
我々の主な戦略は、制御された視点認識画像のセットに最適化されたニューラルラジアンスフィールド(NeRF)における3Dアバターを構築することである。
実験結果を実証し,本手法の有効性について考察する。
論文 参考訳（メタデータ） (2023-09-07T08:14:46Z) - Accurate Gaze Estimation using an Active-gaze Morphable Model [9.192482716410511]
画像から直接視線方向を後退させるのではなく、3次元形状モデルを追加することで視線推定精度が向上することを示す。
我々はこれを幾何学的頂点モデルに当てはめ、アクティブ・ゲイズ3DMMを与える。
本手法は,地上の真理視原点にアクセスすることなく,地上の真理視原点とカメラパラメータのみを用いて学習することができる。
論文 参考訳（メタデータ） (2023-01-30T18:51:14Z) - GazeNeRF: 3D-Aware Gaze Redirection with Neural Radiance Fields [100.53114092627577]
既存の視線リダイレクト法は2次元画像上で動作し、3次元一貫した結果を生成するのに苦労する。
顔領域と眼球は3次元構造であり、協調しているが独立して動くという直感に基づいて構築する。
論文 参考訳（メタデータ） (2022-12-08T13:19:11Z) - Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。
本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
論文 参考訳（メタデータ） (2022-08-03T16:46:08Z) - Disentangled3D: Learning a 3D Generative Model with Disentangled
Geometry and Appearance from Monocular Images [94.49117671450531]
最先端の3D生成モデルは、合成に神経的な3Dボリューム表現を使用するGANである。
本稿では,単分子観察だけで物体の絡み合ったモデルを学ぶことができる3D GANを設計する。
論文 参考訳（メタデータ） (2022-03-29T22:03:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。