Fugu-MT 論文翻訳(概要): HUGS: Human Gaussian Splats

論文の概要: HUGS: Human Gaussian Splats

arxiv url: http://arxiv.org/abs/2311.17910v1
Date: Wed, 29 Nov 2023 18:56:32 GMT
ステータス: 処理完了
システム内更新日: 2023-11-30 20:10:18.647762
Title: HUGS: Human Gaussian Splats
Title（参考訳）: HUGS: 人間のガウススプラッター
Authors: Muhammed Kocabas, Jen-Hao Rick Chang, James Gabriel, Oncel Tuzel, Anurag Ranjan
Abstract要約: HUGS(Human Gaussian Splats)を紹介する。本手法は,少数の(50-100)フレームのモノクロ映像のみを撮影し,30分以内に静止シーンと完全にアニメーション可能な人間のアバターを自動で切り離すことを学習する。我々は60FPSのレンダリング速度で最先端のレンダリング品質を実現し、従来の作業よりも100倍高速なトレーニングを実現した。
参考スコア（独自算出の注目度）: 21.73294518957075
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advances in neural rendering have improved both training and rendering times by orders of magnitude. While these methods demonstrate state-of-the-art quality and speed, they are designed for photogrammetry of static scenes and do not generalize well to freely moving humans in the environment. In this work, we introduce Human Gaussian Splats (HUGS) that represents an animatable human together with the scene using 3D Gaussian Splatting (3DGS). Our method takes only a monocular video with a small number of (50-100) frames, and it automatically learns to disentangle the static scene and a fully animatable human avatar within 30 minutes. We utilize the SMPL body model to initialize the human Gaussians. To capture details that are not modeled by SMPL (e.g. cloth, hairs), we allow the 3D Gaussians to deviate from the human body model. Utilizing 3D Gaussians for animated humans brings new challenges, including the artifacts created when articulating the Gaussians. We propose to jointly optimize the linear blend skinning weights to coordinate the movements of individual Gaussians during animation. Our approach enables novel-pose synthesis of human and novel view synthesis of both the human and the scene. We achieve state-of-the-art rendering quality with a rendering speed of 60 FPS while being ~100x faster to train over previous work. Our code will be announced here: https://github.com/apple/ml-hugs
Abstract（参考訳）: 最近のニューラルレンダリングの進歩は、トレーニング時間とレンダリング時間の両方を桁違いに改善した。これらの手法は最先端の品質と速度を実証するが、静的なシーンのフォトグラム化のために設計されており、環境中を自由に動く人間にはうまく一般化しない。本研究では,3次元ガウススプラッティング(3DGS)を用いてアニメーション可能な人間を表すHuman Gaussian Splats(Human Gaussian Splats)を紹介する。本手法は,少数の(50-100)フレームのモノクロ映像のみを撮影し,30分以内に静止シーンと完全にアニメーション可能な人間のアバターを自動で切り離すことを学習する。 SMPLボディーモデルを用いてヒトガウスを初期化する。 SMPL(布、毛髪など)でモデル化されていない詳細を捉えるために、3Dガウス人が人体モデルから逸脱することを許す。 3Dガウシアンをアニメーション人間に利用することで、ガウシアンを表現した人工物など、新たな課題がもたらされる。アニメーション中の個々のガウス人の動きを調整するために,線形ブレンドスキン化重みを共同で最適化する。本手法は,人間とシーンの両方の新規なビュー合成と新規なビュー合成を可能にする。我々は60FPSのレンダリング速度で最先端のレンダリング品質を実現し、従来の作業よりも100倍高速なトレーニングを実現した。私たちのコードはここで発表されます。

関連論文リスト

Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
論文参考訳（メタデータ） (2024-10-10T14:29:00Z)
OccGaussian: 3D Gaussian Splatting for Occluded Human Rendering [55.50438181721271]
表面レンダリングにNeRFを用いた従来手法では,閉鎖領域の復元には1日以上,閉塞領域のレンダリングには数秒を要していた。 OccGaussianは3D Gaussian Splattingをベースとして6分以内でトレーニングが可能で,最大160FPSまでの高品質な人体レンダリングを実現する。
論文参考訳（メタデータ） (2024-04-12T13:00:06Z)
HAHA: Highly Articulated Gaussian Human Avatars with Textured Mesh Prior [24.094129395653134]
HAHAは単眼入力ビデオからヒトアバターをアニマタブルに生成するための新しいアプローチである。 SMPL-Xパラメトリックモデルを用いて全身のアバターをアニメーション化しレンダリングする効率を実証する。
論文参考訳（メタデータ） (2024-04-01T11:23:38Z)
UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
論文参考訳（メタデータ） (2024-03-18T09:03:56Z)
Human101: Training 100+FPS Human Gaussians in 100s from 1 View [35.77485300265528]
1-viewビデオから高忠実度ダイナミックな3次元再構成を実現するための新しいフレームワークであるHuman101を紹介する。提案手法は, 3次元ガウス散乱の強度を利用して, 3次元人間の明示的かつ効率的な表現を提供する。 Human101は毎秒10倍のフレームアップを実現し、同等または優れたレンダリング品質を実現した。
論文参考訳（メタデータ） (2023-12-23T13:41:56Z)
Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
論文参考訳（メタデータ） (2023-12-22T20:56:46Z)
3DGS-Avatar: Animatable Avatars via Deformable 3D Gaussian Splatting [32.63571465495127]
3Dガウススプラッティング(3DGS)を用いた単眼ビデオからアニマタブルな人間のアバターを作成する手法を提案する。我々は、30分以内でトレーニングでき、リアルタイムフレームレート(50以上のFPS)でレンダリングできる非剛性ネットワークを学習する。実験結果から,本手法は単分子入力によるアニマタブルアバター生成に対する最先端手法と比較して,同等,さらに優れた性能が得られることが示された。
論文参考訳（メタデータ） (2023-12-14T18:54:32Z)
ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
論文参考訳（メタデータ） (2023-12-10T17:07:37Z)
GauHuman: Articulated Gaussian Splatting from Monocular Human Videos [58.553979884950834]
GauHumanは、高速トレーニング(12分)とリアルタイムレンダリング(最大189FPS)の両方のためのガウススプラッティングを備えた3次元人体モデルである。ガウフマンはカノニカル空間でガウススプラッティングを符号化し、3次元ガウスを線形ブレンドスキンニング(LBS)で正標準空間からポーズ空間に変換する ZJU_MocapとMonoCapデータセットの実験は、GauHumanが高速なトレーニングとリアルタイムレンダリング速度によって、最先端のパフォーマンスを定量的に質的に達成していることを示している。
論文参考訳（メタデータ） (2023-12-05T18:59:14Z)
Animatable 3D Gaussian: Fast and High-Quality Reconstruction of Multiple Human Avatars [18.55354901614876]
入力画像とポーズから人間のアバターを学習するAnimatable 3D Gaussianを提案する。新規なビュー合成と新規ポーズ合成の両タスクにおいて,本手法はトレーニング時間を短縮したInstantAvatarよりも高い再現性を実現する。本手法は,25秒のトレーニングで10人のシーンにおいて,複数のシーンに容易に拡張可能であり,それと同等の新規なビュー合成結果が得られる。
論文参考訳（メタデータ） (2023-11-27T08:17:09Z)
Animatable 3D Gaussians for High-fidelity Synthesis of Human Motions [37.50707388577952]
本稿では,高忠実度自由視点人間の動きをリアルタイムにレンダリングするための,アニマタブルな3次元ガウスモデルを提案する。既存のNeRFベースの手法と比較して、このモデルはビデオフレーム間のジッタリングの問題なく、高周波の詳細で優れた能力を持っている。
論文参考訳（メタデータ） (2023-11-22T14:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。