論文の概要: MIGS: Multi-Identity Gaussian Splatting via Tensor Decomposition

• arxiv url: http://arxiv.org/abs/2407.07284v2
• Date: Wed, 17 Jul 2024 05:57:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 21:28:12.187004
• Title: MIGS: Multi-Identity Gaussian Splatting via Tensor Decomposition
• Title（参考訳）: MIGS:テンソル分解による多密度ガウス平滑化
• Authors: Aggelina Chatziagapi, Grigorios G. Chrysos, Dimitris Samaras,
• Abstract要約: MIGSは、モノクロビデオのみを使用して、複数のアイデンティティのための単一の神経表現を学習する新しい方法である。 統一ネットワークにおける複数の被験者の複雑な剛性および非剛性変形をモデル化し,パラメータの総数を大幅に削減する。 提案手法は,すべてのトレーニングアイデンティティからの情報を活用し,未確認のポーズで頑健なアニメーションを実現し,既存のアプローチより優れている。
• 参考スコア（独自算出の注目度）: 31.84992318237585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce MIGS (Multi-Identity Gaussian Splatting), a novel method that learns a single neural representation for multiple identities, using only monocular videos. Recent 3D Gaussian Splatting (3DGS) approaches for human avatars require per-identity optimization. However, learning a multi-identity representation presents advantages in robustly animating humans under arbitrary poses. We propose to construct a high-order tensor that combines all the learnable 3DGS parameters for all the training identities. By assuming a low-rank structure and factorizing the tensor, we model the complex rigid and non-rigid deformations of multiple subjects in a unified network, significantly reducing the total number of parameters. Our proposed approach leverages information from all the training identities and enables robust animation under challenging unseen poses, outperforming existing approaches. It can also be extended to learn unseen identities.
• Abstract（参考訳）: MIGS(Multi-Identity Gaussian Splatting)は、単眼ビデオのみを用いて、複数のアイデンティティの1つの神経表現を学習する新しい手法である。 人間のアバターに対する最近の3次元ガウススプラッティング(3DGS)アプローチは、同一性ごとの最適化を必要とする。 しかし、多元性表現の学習は、任意のポーズの下で人間を頑健にアニメーションする利点を示す。 本稿では,学習可能な3DGSパラメータをすべて組み合わせた高次テンソルの構築を提案する。 低ランク構造を仮定してテンソルを分解することにより、複数の対象の複雑な剛性および非剛性変形を統一ネットワークでモデル化し、パラメータの総数を大幅に削減する。 提案手法は,すべてのトレーニングアイデンティティからの情報を活用し,未確認のポーズで頑健なアニメーションを実現し,既存のアプローチより優れている。 未確認のアイデンティティを学習するために拡張することもできる。

関連論文リスト

• HuGDiffusion: Generalizable Single-Image Human Rendering via 3D Gaussian Diffusion [50.02316409061741]
  HuGDiffusionは、シングルビュー入力画像から人間の文字の新しいビュー合成(NVS)を実現するための学習パイプラインである。 本研究では,1つの画像から抽出したヒトの事前情報に基づいて,拡散に基づくフレームワークを用いて3DGS属性の集合を生成することを目的とする。 我々のHuGDiffusionは最先端の手法よりも優れた性能を示している。
  論文  参考訳（メタデータ） (2025-01-25T01:00:33Z)
• CLIP-GS: Unifying Vision-Language Representation with 3D Gaussian Splatting [88.24743308058441]
  3DGSを基盤とした新しいマルチモーダル表現学習フレームワークであるCLIP-GSを提案する。 我々は,3DGS,画像,テキストの三重項を生成する効率的な方法を開発し,CLIP-GSによるマルチモーダル表現の学習を容易にする。
  論文  参考訳（メタデータ） (2024-12-26T09:54:25Z)
• MVGS: Multi-view-regulated Gaussian Splatting for Novel View Synthesis [22.80370814838661]
  ボリュームレンダリングにおける最近の研究、例えばNeRFや3D Gaussian Splatting (3DGS)は、レンダリング品質と効率を大幅に向上させた。 4つの重要な貢献を具現化した新しい3DGS最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T23:48:31Z)
• MultiPly: Reconstruction of Multiple People from Monocular Video in the Wild [32.6521941706907]
  モノクラーインザワイルドビデオから3Dで複数の人物を再構成する新しいフレームワークであるMultiPlyを提案する。 まず、シーン全体の階層化されたニューラル表現を定義し、個々の人間と背景モデルで合成する。 階層化可能なボリュームレンダリングを通じて,ビデオから階層化ニューラル表現を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:59:57Z)
• ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling [96.87575334960258]
  ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。 前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
  論文  参考訳（メタデータ） (2024-05-26T13:36:45Z)
• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
  ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。 本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。 提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
  論文  参考訳（メタデータ） (2023-12-18T18:59:12Z)
• Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors [98.24047528960406]
  本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-08-25T07:36:46Z)
• A 3D GAN for Improved Large-pose Facial Recognition [3.791440300377753]
  深層畳み込みニューラルネットワークを用いた顔認識は、顔画像の大きなデータセットの可用性に依存している。 近年の研究では、アイデンティティからポーズを離す方法が不十分であることが示されている。 本研究では,GAN発生器に3次元モーフィラブルモデルを組み込むことにより,野生画像から非線形テクスチャモデルを学習する。 これにより、新しい合成IDの生成と、アイデンティティを損なうことなくポーズ、照明、表現の操作が可能になります。
  論文  参考訳（メタデータ） (2020-12-18T22:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。