論文の概要: Drivable 3D Gaussian Avatars

• arxiv url: http://arxiv.org/abs/2311.08581v2
• Date: Mon, 10 Feb 2025 20:17:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 17:19:29.623004
• Title: Drivable 3D Gaussian Avatars
• Title（参考訳）: 3Dガウスアバター
• Authors: Wojciech Zielonka, Timur Bagautdinov, Shunsuke Saito, Michael Zollhöfer, Justus Thies, Javier Romero,
• Abstract要約: 人体用多層型3D制御モデルであるD3GAについて述べる。 3Dガウスのような原始体は自然に再配向し、核はカプセル化四面体の変形勾配によって拡張される。 ケージベースモデルを用いて,アバターを衣服,手,顔などの層に分解する合成パイプラインを導入する。
• 参考スコア（独自算出の注目度）: 42.11760740161368
• License:
• Abstract: We present Drivable 3D Gaussian Avatars (D3GA), a multi-layered 3D controllable model for human bodies that utilizes 3D Gaussian primitives embedded into tetrahedral cages. The advantage of using cages compared to commonly employed linear blend skinning (LBS) is that primitives like 3D Gaussians are naturally re-oriented and their kernels are stretched via the deformation gradients of the encapsulating tetrahedron. Additional offsets are modeled for the tetrahedron vertices, effectively decoupling the low-dimensional driving poses from the extensive set of primitives to be rendered. This separation is achieved through the localized influence of each tetrahedron on 3D Gaussians, resulting in improved optimization. Using the cage-based deformation model, we introduce a compositional pipeline that decomposes an avatar into layers, such as garments, hands, or faces, improving the modeling of phenomena like garment sliding. These parts can be conditioned on different driving signals, such as keypoints for facial expressions or joint-angle vectors for garments and the body. Our experiments on two multi-view datasets with varied body shapes, clothes, and motions show higher-quality results. They surpass PSNR and SSIM metrics of other SOTA methods using the same data while offering greater flexibility and compactness.
• Abstract（参考訳）: 四面体ケージに埋め込まれた3次元ガウス原始体を利用した人体用多層3次元制御可能なモデルであるD3GAについて述べる。 一般的に使用されるリニアブレンドスキン(LBS)と比較してケージを使用する利点は、3Dガウスのような原始体が自然に向きを変え、核はカプセル化テトラヘドロンの変形勾配によって伸長されることである。 追加のオフセットはテトラヘドロン頂点のためにモデル化され、描画されるプリミティブの広範な集合から低次元の駆動ポーズを効果的に分離する。 この分離は、各テトラヘドロンの3次元ガウスへの局所的な影響によって達成され、最適化が改善された。 ケージをベースとした変形モデルを用いて,アバターを衣服,手,顔などの層に分解する合成パイプラインを導入し,衣服のスライディングなどの現象のモデル化を改善した。 これらの部分は、顔の表情のキーポイントや、衣服や身体の関節角ベクトルなど、異なる駆動信号で条件付けすることができる。 身体形状, 衣服, 動作の異なる2つの多視点データセットによる実験により, 高品質な結果が得られた。 彼らは同じデータを使用して他のSOTAメソッドのPSNRおよびSSIMメトリクスを上回り、柔軟性とコンパクト性を提供する。

関連論文リスト

• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• iHuman: Instant Animatable Digital Humans From Monocular Videos [16.98924995658091]
  モノクロビデオからアニマタブルな3Dデジタル人間を作るための,迅速かつシンプルで効果的な方法を提案する。 この研究は、人間の身体の正確な3Dメッシュ型モデリングの必要性を達成し、説明します。 我々の手法は(訓練時間の観点から)最も近い競合相手よりも桁違いに高速である。
  論文  参考訳（メタデータ） (2024-07-15T18:51:51Z)
• UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
  メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
  論文  参考訳（メタデータ） (2024-03-18T09:03:56Z)
• Rig3DGS: Creating Controllable Portraits from Casual Monocular Videos [33.779636707618785]
  我々はRig3DGSを導入し、カジュアルなスマートフォンビデオからコントロール可能な3D人間の肖像画を作成する。 鍵となる革新は、慎重に設計された変形法であり、3次元形態素モデルから派生した学習可能な先行モデルによって導かれる。 定量的および定性的な実験によって学習した変形の有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-06T05:40:53Z)
• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• 3DGS-Avatar: Animatable Avatars via Deformable 3D Gaussian Splatting [32.63571465495127]
  3Dガウススプラッティング(3DGS)を用いた単眼ビデオからアニマタブルな人間のアバターを作成する手法を提案する。 我々は、30分以内でトレーニングでき、リアルタイムフレームレート(50以上のFPS)でレンダリングできる非剛性ネットワークを学習する。 実験結果から,本手法は単分子入力によるアニマタブルアバター生成に対する最先端手法と比較して,同等,さらに優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-12-14T18:54:32Z)
• ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
  本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。 我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。 我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
  論文  参考訳（メタデータ） (2023-12-10T17:07:37Z)
• AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
  本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。 本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。 提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
  論文  参考訳（メタデータ） (2023-05-03T17:56:24Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。