論文の概要: GazeGaussian: High-Fidelity Gaze Redirection with 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2411.12981v1
• Date: Wed, 20 Nov 2024 02:15:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:12:20.292555
• Title: GazeGaussian: High-Fidelity Gaze Redirection with 3D Gaussian Splatting
• Title（参考訳）: GazeGaussian: 3D Gassian Splattingによる高忠実なGazeリダイレクト
• Authors: Xiaobao Wei, Peng Chen, Guangyu Li, Ming Lu, Hui Chen, Feng Tian,
• Abstract要約: 本稿では,2ストリーム3DGSモデルを用いて顔領域と眼領域を別々に表現する高忠実な視線リダイレクト手法であるGazeGaussianを提案する。 GazeGaussianは、レンダリング速度、視線リダイレクト精度、複数のデータセット間での顔合成において、既存の方法よりも優れています。
• 参考スコア（独自算出の注目度）: 15.509324745484141
• License:
• Abstract: Gaze estimation encounters generalization challenges when dealing with out-of-distribution data. To address this problem, recent methods use neural radiance fields (NeRF) to generate augmented data. However, existing methods based on NeRF are computationally expensive and lack facial details. 3D Gaussian Splatting (3DGS) has become the prevailing representation of neural fields. While 3DGS has been extensively examined in head avatars, it faces challenges with accurate gaze control and generalization across different subjects. In this work, we propose GazeGaussian, a high-fidelity gaze redirection method that uses a two-stream 3DGS model to represent the face and eye regions separately. By leveraging the unstructured nature of 3DGS, we develop a novel eye representation for rigid eye rotation based on the target gaze direction. To enhance synthesis generalization across various subjects, we integrate an expression-conditional module to guide the neural renderer. Comprehensive experiments show that GazeGaussian outperforms existing methods in rendering speed, gaze redirection accuracy, and facial synthesis across multiple datasets. We also demonstrate that existing gaze estimation methods can leverage GazeGaussian to improve their generalization performance. The code will be available at: https://ucwxb.github.io/GazeGaussian/.
• Abstract（参考訳）: 注視推定は、アウト・オブ・ディストリビューションデータを扱う際に一般化問題に遭遇する。 この問題に対処するため、近年の手法では、ニューラル放射場(NeRF)を用いて拡張データを生成する。 しかし、NeRFに基づく既存の手法は計算コストが高く、顔の詳細が欠けている。 3D Gaussian Splatting (3DGS) は、ニューラルネットワークの一般的な表現となっている。 3DGSは頭部アバターで広く研究されているが、正確な視線制御と様々な被験者の一般化の課題に直面している。 本研究では,2ストリーム3DGSモデルを用いて顔領域と眼領域を別々に表現する高忠実な視線リダイレクト手法であるGazeGaussianを提案する。 3DGSの非構造的特性を活用することで、ターゲット視線方向に基づく眼球回転のための新しいアイ表現を開発する。 様々な分野における合成一般化を強化するために,表現条件モジュールを統合し,ニューラルレンダラーを誘導する。 総合的な実験により、GazeGaussianは、レンダリング速度、視線リダイレクト精度、複数のデータセット間での顔合成において、既存の手法よりも優れています。 また,GazeGaussian を用いた既存の視線推定手法が一般化性能の向上に有効であることを示す。 コードは、https://ucwxb.github.io/GazeGaussian/.comで入手できる。

関連論文リスト

• DiffGS: Functional Gaussian Splatting Diffusion [33.07847512591061]
  3D Gaussian Splatting (3DGS) はレンダリング速度と忠実度において説得力のある性能を示した。 しかし、ガウススプラッティングの生成は、その離散性と非構造的な性質のため、依然として課題である。 本稿では,潜在拡散モデルに基づく一般ガウス生成器DiffGSを提案する。
  論文  参考訳（メタデータ） (2024-10-25T16:08:08Z)
• Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
  Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。 GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。 GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
  論文  参考訳（メタデータ） (2024-04-16T17:57:19Z)
• Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
  Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。 実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。 この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
  論文  参考訳（メタデータ） (2024-02-24T17:22:15Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)
• Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
  ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。 我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。 提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
  論文  参考訳（メタデータ） (2024-02-07T12:36:54Z)
• GaussianStyle: Gaussian Head Avatar via StyleGAN [64.85782838199427]
  本稿では,3DGSのボリューム強度とStyleGANの強力な暗黙表現を統合する新しいフレームワークを提案する。 提案手法は, 再現性, 新規なビュー合成, アニメーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-01T18:14:42Z)
• 3DGazeNet: Generalizing Gaze Estimation with Weak-Supervision from Synthetic Views [67.00931529296788]
  本稿では,適応を伴わない新しい環境に直接適用可能な一般的な視線推定モデルを訓練することを提案する。 視覚的擬似アノテーションを用いた多彩な顔の大規模データセットを作成し、シーンの3次元形状に基づいて抽出する。 本研究では,本手法を視線一般化タスクにおいて検証し,真理データが得られない場合の最先端技術と比較して最大30%の改善を実証する。
  論文  参考訳（メタデータ） (2022-12-06T14:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。