論文の概要: Interactive Rendering of Relightable and Animatable Gaussian Avatars

• arxiv url: http://arxiv.org/abs/2407.10707v1
• Date: Mon, 15 Jul 2024 13:25:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 15:11:40.914308
• Title: Interactive Rendering of Relightable and Animatable Gaussian Avatars
• Title（参考訳）: 可照・アニマタブルガウスアバターのインタラクティブレンダリング
• Authors: Youyi Zhan, Tianjia Shao, He Wang, Yin Yang, Kun Zhou,
• Abstract要約: 本稿では,多視点映像や単眼アバター映像から身体材料と照明を分離する簡便で効率的な方法を提案する。 提案手法は,合成データと実データの両方で高速に高品質な結果が得られる。
• 参考スコア（独自算出の注目度）: 37.73483372890271
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Creating relightable and animatable avatars from multi-view or monocular videos is a challenging task for digital human creation and virtual reality applications. Previous methods rely on neural radiance fields or ray tracing, resulting in slow training and rendering processes. By utilizing Gaussian Splatting, we propose a simple and efficient method to decouple body materials and lighting from sparse-view or monocular avatar videos, so that the avatar can be rendered simultaneously under novel viewpoints, poses, and lightings at interactive frame rates (6.9 fps). Specifically, we first obtain the canonical body mesh using a signed distance function and assign attributes to each mesh vertex. The Gaussians in the canonical space then interpolate from nearby body mesh vertices to obtain the attributes. We subsequently deform the Gaussians to the posed space using forward skinning, and combine the learnable environment light with the Gaussian attributes for shading computation. To achieve fast shadow modeling, we rasterize the posed body mesh from dense viewpoints to obtain the visibility. Our approach is not only simple but also fast enough to allow interactive rendering of avatar animation under environmental light changes. Experiments demonstrate that, compared to previous works, our method can render higher quality results at a faster speed on both synthetic and real datasets.
• Abstract（参考訳）: マルチビューやモノクラービデオから、リライザブルでアニマタブルなアバターを作ることは、デジタルな人間の創造とバーチャルリアリティーアプリケーションにとって難しい課題だ。 従来の方法は、神経放射場やレイトレーシングに依存しており、訓練やレンダリングのプロセスが遅くなる。 ガウシアン・スプレイティング(英語版)を利用して、スパルス・ビュー(英語版)やモノクル・アバター・ビデオ(英語版)から体材と照明を分離し、新しい視点、ポーズ、インタラクティブなフレームレート(6.9fps)でアバターを同時にレンダリングできるように、簡便で効率的な方法を提案する。 具体的には、まず、符号付き距離関数を用いて標準体メッシュを取得し、各メッシュ頂点に属性を割り当てる。 正準空間のガウス群は、その属性を得るために近くの体メッシュ頂点から補間する。 その後、フォワードスキンニングを用いてガウスを擬似空間に変形させ、学習可能な環境光とガウスの属性を結合してシェーディング計算を行う。 高速なシャドウモデリングを実現するため,提案したボディーメッシュを濃密な視点からラスタライズし,視認性を得る。 我々のアプローチは、単純なだけでなく、環境光変化下でのアバターアニメーションのインタラクティブレンダリングを可能にするのに十分高速である。 実験により, 従来の研究と比較して, 合成データセットと実データセットの両方において, より高速に高品質な結果が得られることを示した。

関連論文リスト

• SplattingAvatar: Realistic Real-Time Human Avatars with Mesh-Embedded Gaussian Splatting [26.849406891462557]
  トライアングルメッシュ上に埋め込まれたガウススプラッティングと人間のアバターのハイブリッド3次元表現であるSplattingAvatarについて述べる。 SplattingAvatarは、最新のGPUで300FPS以上、モバイルデバイスで30FPS以上をレンダリングする。
  論文  参考訳（メタデータ） (2024-03-08T06:28:09Z)
• ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
  本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。 我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。 我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
  論文  参考訳（メタデータ） (2023-12-10T17:07:37Z)
• Relightable Gaussian Codec Avatars [26.255161061306428]
  Relightable Gaussian Codec Avatars(英語版)は、新しい表現を生成するためにアニメーションできる高忠実なrelightable head avatarsを構築する方法である。 3次元ガウシアンに基づく幾何学モデルは, 動的顔列上のヘアストランドや細孔などの3次元連続したサブミリ細部を捉えることができる。 我々は、視線反射の忠実度を改善し、光沢のある視線モデルを導入することにより、視線制御を可能にする。
  論文  参考訳（メタデータ） (2023-12-06T18:59:58Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• Towards Practical Capture of High-Fidelity Relightable Avatars [60.25823986199208]
  TRAvatarは、様々な照明条件下で光ステージでキャプチャされた動的画像シーケンスで訓練される。 1回のフォワードパスでリアルタイムで出現を予測でき、高品質なリライト効果が得られる。 本フレームワークは,光リアリスティックなアバターアニメーションとリライティングの優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-09-08T10:26:29Z)
• Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
  高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。 最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。 アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
  論文  参考訳（メタデータ） (2023-03-23T00:15:34Z)
• PointAvatar: Deformable Point-based Head Avatars from Videos [103.43941945044294]
  PointAvatarは変形可能な点ベースの表現で、原色を固有アルベドと正規依存シェーディングに分解する。 提案手法は,複数の音源からのモノクロビデオを用いて,アニマタブルな3Dアバターを生成することができることを示す。
  論文  参考訳（メタデータ） (2022-12-16T10:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。