論文の概要: Generalizable Human Gaussians for Sparse View Synthesis
- arxiv url: http://arxiv.org/abs/2407.12777v1
- Date: Wed, 17 Jul 2024 17:56:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-18 16:06:20.156092
- Title: Generalizable Human Gaussians for Sparse View Synthesis
- Title（参考訳）: スパースビュー合成のための一般化可能なヒトガウス
- Authors: Youngjoong Kwon, Baole Fang, Yixing Lu, Haoye Dong, Cheng Zhang, Francisco Vicente Carrasco, Albert Mosella-Montoro, Jianjin Xu, Shingo Takagi, Daeil Kim, Aayush Prakash, Fernando De la Torre,
- Abstract要約: そこで本研究では,光写実的かつ正確な視線レンダリングを可能にする,一般化可能なヒトガウシアンを学習するための新しい手法を提案する。
このアプローチの重要な革新は、3次元ガウスパラメータの学習を、人間のテンプレートの2次元UV空間上で定義された回帰プロセスに再構成することである。
提案手法は,データ内一般化とクロスデータセット一般化設定の両方において,最近の手法よりも優れている。
- 参考スコア（独自算出の注目度）: 48.47812125126829
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent progress in neural rendering has brought forth pioneering methods, such as NeRF and Gaussian Splatting, which revolutionize view rendering across various domains like AR/VR, gaming, and content creation. While these methods excel at interpolating {\em within the training data}, the challenge of generalizing to new scenes and objects from very sparse views persists. Specifically, modeling 3D humans from sparse views presents formidable hurdles due to the inherent complexity of human geometry, resulting in inaccurate reconstructions of geometry and textures. To tackle this challenge, this paper leverages recent advancements in Gaussian Splatting and introduces a new method to learn generalizable human Gaussians that allows photorealistic and accurate view-rendering of a new human subject from a limited set of sparse views in a feed-forward manner. A pivotal innovation of our approach involves reformulating the learning of 3D Gaussian parameters into a regression process defined on the 2D UV space of a human template, which allows leveraging the strong geometry prior and the advantages of 2D convolutions. In addition, a multi-scaffold is proposed to effectively represent the offset details. Our method outperforms recent methods on both within-dataset generalization as well as cross-dataset generalization settings.
- Abstract（参考訳）: ニューラルレンダリングの最近の進歩は、NeRFやGaussian Splattingといった先駆的な手法を生み出し、AR/VR、ゲーム、コンテンツ生成といったさまざまな領域におけるビューレンダリングに革命をもたらした。
これらの手法はトレーニングデータ内での補間において優れているが、非常にスパースなビューから新しいシーンやオブジェクトに一般化するという課題は持続する。
特に、スパースビューからの3D人間のモデリングは、人間の幾何学の本質的な複雑さのために、恐ろしいハードルを示し、その結果、幾何学とテクスチャの不正確な再構築をもたらす。
この課題に対処するために,近年のガウシアン・スプレイティングの進歩を活用し,フィードフォワード方式で限られたスパークビューから,新しい被験者のフォトリアリスティックかつ正確なビューレンダリングを可能にする,一般化可能なヒト・ガウシアンを学習するための新しい手法を提案する。
我々のアプローチの重要な革新は、3次元ガウスパラメータの学習を、人間のテンプレートの2次元UV空間上で定義された回帰プロセスに再構成することである。
さらに,オフセットの詳細を効果的に表現するために,マルチスキャフォールドを提案する。
提案手法は,データ内一般化とクロスデータセット一般化設定の両方において,最近の手法よりも優れている。
関連論文リスト
- GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。
我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。
いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-11-18T08:18:44Z) - DiHuR: Diffusion-Guided Generalizable Human Reconstruction [51.31232435994026]
一般化可能なヒト3次元再構成のための拡散誘導モデルであるDiHuRを導入し,スパース・ミニマル・オーバーラップ画像からのビュー合成について述べる。
提案手法は, 一般化可能なフィードフォワードモデルと2次元拡散モデルとの2つのキー前処理をコヒーレントな方法で統合する。
論文 参考訳（メタデータ） (2024-11-16T03:52:23Z) - HFGaussian: Learning Generalizable Gaussian Human with Integrated Human Features [23.321087432786605]
HFGaussianと呼ばれる新しいアプローチでは、25FPSでスパルス入力画像から3Dスケルトン、3Dキーポイント、高密度ポーズなどの新しいビューや人間の特徴をリアルタイムで推定できる。
我々は,HFGaussの手法をヒトガウススプラッティングにおける最新の最先端技術に対して徹底的に評価し,そのリアルタイム,最先端性能を示す。
論文 参考訳（メタデータ） (2024-11-05T13:31:04Z) - Generalizable Human Gaussians from Single-View Image [52.100234836129786]
単視点一般化可能なHuman Gaussian Model(HGM)を導入する。
提案手法では, 粗い予測されたヒトガウスの背景画像を改良するために, ControlNet を用いる。
非現実的な人間のポーズや形状の潜在的な発生を緩和するために、SMPL-Xモデルからの人間の先行を二重分岐として組み込む。
論文 参考訳（メタデータ） (2024-06-10T06:38:11Z) - PGAHum: Prior-Guided Geometry and Appearance Learning for High-Fidelity Animatable Human Reconstruction [9.231326291897817]
我々はPGAHumを紹介した。PGAHumは、高忠実でアニマタブルな人体再構成のための、事前ガイダンス付き幾何学および外観学習フレームワークである。
我々はPGAHumの3つの主要モジュールにおける3次元人体前駆体を徹底的に利用し、複雑な細部と見えないポーズのフォトリアリスティックなビュー合成による高品質な幾何再構成を実現する。
論文 参考訳（メタデータ） (2024-04-22T04:22:30Z) - UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。
我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
論文 参考訳（メタデータ） (2024-03-18T09:03:56Z) - GaussianBody: Clothed Human Reconstruction via 3d Gaussian Splatting [14.937297984020821]
本稿では,3次元ガウシアンスプラッティングをベースとした,ガウシアンボディと呼ばれる新しい布地復元手法を提案する。
静的な3次元ガウススメッティングモデルを動的復元問題に適用することは、複雑な非剛性変形とリッチな布の細部のために非自明である。
本手法は,ダイナミックな衣料人体に高精細な画質で,最先端のフォトリアリスティックなノベルビューレンダリングを実現できることを示す。
論文 参考訳（メタデータ） (2024-01-18T04:48:13Z) - GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis [70.24111297192057]
我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。
提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
論文 参考訳（メタデータ） (2023-12-04T18:59:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。