論文の概要: GALA: Generating Animatable Layered Assets from a Single Scan
- arxiv url: http://arxiv.org/abs/2401.12979v1
- Date: Tue, 23 Jan 2024 18:59:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 14:49:30.352249
- Title: GALA: Generating Animatable Layered Assets from a Single Scan
- Title（参考訳）: GALA:単一スキャンからアニマタブルなレイヤーアセットを生成する
- Authors: Taeksoo Kim, Byungjun Kim, Shunsuke Saito, Hanbyul Joo
- Abstract要約: GALAは, 単層布3次元メッシュを入力として, 完全な多層3次元アセットに分解するフレームワークである。
出力は、他の資産と組み合わせて、新しい人間のアバターを作ることができる。
- 参考スコア（独自算出の注目度）: 20.310367593475508
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present GALA, a framework that takes as input a single-layer clothed 3D
human mesh and decomposes it into complete multi-layered 3D assets. The outputs
can then be combined with other assets to create novel clothed human avatars
with any pose. Existing reconstruction approaches often treat clothed humans as
a single-layer of geometry and overlook the inherent compositionality of humans
with hairstyles, clothing, and accessories, thereby limiting the utility of the
meshes for downstream applications. Decomposing a single-layer mesh into
separate layers is a challenging task because it requires the synthesis of
plausible geometry and texture for the severely occluded regions. Moreover,
even with successful decomposition, meshes are not normalized in terms of poses
and body shapes, failing coherent composition with novel identities and poses.
To address these challenges, we propose to leverage the general knowledge of a
pretrained 2D diffusion model as geometry and appearance prior for humans and
other assets. We first separate the input mesh using the 3D surface
segmentation extracted from multi-view 2D segmentations. Then we synthesize the
missing geometry of different layers in both posed and canonical spaces using a
novel pose-guided Score Distillation Sampling (SDS) loss. Once we complete
inpainting high-fidelity 3D geometry, we also apply the same SDS loss to its
texture to obtain the complete appearance including the initially occluded
regions. Through a series of decomposition steps, we obtain multiple layers of
3D assets in a shared canonical space normalized in terms of poses and human
shapes, hence supporting effortless composition to novel identities and
reanimation with novel poses. Our experiments demonstrate the effectiveness of
our approach for decomposition, canonicalization, and composition tasks
compared to existing solutions.
- Abstract（参考訳）: GALAは, 単層布3次元メッシュを入力として, 完全な多層3次元アセットに分解するフレームワークである。
出力は、他の資産と組み合わせて、あらゆるポーズで新しい服を着た人間のアバターを作ることができる。
既存の再構築アプローチは、しばしば、服を着た人間を幾何学の一層として扱い、髪型、衣服、アクセサリーを持つ人間の固有の構成性を見落とし、下流の用途におけるメッシュの有用性を制限する。
単一層メッシュを別々の層に分解することは難しい作業である。
さらに、分解が成功しても、メッシュはポーズや体形の観点からは正規化されず、新しいアイデンティティやポーズとのコヒーレントな構成に欠ける。
これらの課題に対処するため,我々は,事前訓練された2次元拡散モデルの一般知識を,人間や他の資産に先立って幾何学と外観として活用することを提案する。
まず,マルチビュー2次元セグメンテーションから抽出した3次元表面セグメンテーションを用いて入力メッシュを分離する。
次に,新しいポーズ誘導スコア蒸留サンプリング(sds)損失を用いて,ポーズ空間と正準空間の異なる層の欠落形状を合成する。
高忠実度3D形状の塗布が完了すると、そのテクスチャに同じSDSロスを適用して、初期閉鎖領域を含む完全な外観を得る。
一連の分解段階を通じて,ポーズと人間の形状を基準とした共有正準空間における複数の3Dアセットの層を取得し,新規なアイデンティティと新規なポーズによる再アニメーションを支援する。
本実験は,既存ソリューションと比較して,分解,正準化,合成タスクに対するアプローチの有効性を示す。
関連論文リスト
- ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling [96.87575334960258]
ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。
前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
論文 参考訳（メタデータ） (2024-05-26T13:36:45Z) - Total-Decom: Decomposed 3D Scene Reconstruction with Minimal Interaction [51.3632308129838]
人間のインタラクションを最小限に抑えた3次元再構成法であるTotal-Decomを提案する。
提案手法は,Segment Anything Model (SAM) とハイブリッド型暗黙的なニューラルサーフェス表現をシームレスに統合し,メッシュベースの領域成長技術を用いて正確な3次元オブジェクト分解を行う。
提案手法をベンチマークデータセット上で広範囲に評価し,アニメーションやシーン編集などの下流アプリケーションの可能性を示す。
論文 参考訳（メタデータ） (2024-03-28T11:12:33Z) - 3D Reconstruction of Interacting Multi-Person in Clothing from a Single Image [8.900009931200955]
本稿では,1つの画像からグローバルなコヒーレントなシーン空間上の衣服の多人数インタラクションの形状を再構築する,新しいパイプラインを提案する。
この課題を克服するために、人間の2つの先駆体を完全な3次元形状と表面接触に活用する。
その結果,本手法は既存の手法と比較して完全で,グローバルに一貫性があり,物理的に妥当であることがわかった。
論文 参考訳（メタデータ） (2024-01-12T07:23:02Z) - Efficient 3D Articulated Human Generation with Layered Surface Volumes [131.3802971483426]
我々は,デジタル人間のための新しい3次元オブジェクト表現として,層状表面体積(LSV)を導入する。
LSVは、従来のテンプレートの周囲の複数のテクスチャ層を使用して人体を表現する。
2Dジェネレータは個々のレイヤのRGBAテクスチャを合成することを学ぶ。
論文 参考訳（メタデータ） (2023-07-11T17:50:02Z) - MPM: A Unified 2D-3D Human Pose Representation via Masked Pose Modeling [59.74064212110042]
mpmcanは、3D人間のポーズ推定、クラッドされた2Dポーズからの3Dポーズ推定、3Dポーズ完了をtextocbsingleフレームワークで処理する。
MPI-INF-3DHPにおいて、広く使われているポーズデータセットの広範な実験とアブレーション研究を行い、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-06-29T10:30:00Z) - USR: Unsupervised Separated 3D Garment and Human Reconstruction via
Geometry and Semantic Consistency [41.89803177312638]
本研究では,人体を再構築し,テクスチャ化された衣服を3次元モデルなしで層状に再現する,非教師付き分離型3D衣服と人体再構成モデルを提案する。
身近な多視点画像と身近な人物のジオメトリのマッピングを学習するための一般化した表面認識型ニューラルラジオアンス場を提案する。
論文 参考訳（メタデータ） (2023-02-21T08:48:27Z) - Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。
本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。
我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
論文 参考訳（メタデータ） (2022-08-04T14:13:35Z) - Multi-person Implicit Reconstruction from a Single Image [37.6877421030774]
本稿では,1つの画像から複数の人物の詳細な空間的コヒーレントな再構築を実現するための新しいエンドツーエンド学習フレームワークを提案する。
既存のマルチパーソンメソッドは、モデルベースで、ゆるい服と髪の人々の正確な3dモデルをキャプチャできないことが多いという、2つの大きな欠点を抱えている。
論文 参考訳（メタデータ） (2021-04-19T13:21:55Z) - SMAP: Single-Shot Multi-Person Absolute 3D Pose Estimation [46.85865451812981]
本稿では,まず,この2.5D表現に基づいて,まず2.5D表現の集合を回帰し,さらに深部認識部分関連アルゴリズムを用いて3D絶対ポーズを再構成するシステムを提案する。
このような単発ボトムアップ方式により、システムは人物間の深度関係をよりよく学習し、推論し、3Dと2Dの両方のポーズ推定を改善することができる。
論文 参考訳（メタデータ） (2020-08-26T09:56:07Z) - Learning Unsupervised Hierarchical Part Decomposition of 3D Objects from
a Single RGB Image [102.44347847154867]
プリミティブの集合として3次元オブジェクトの幾何を共同で復元できる新しい定式化を提案する。
我々のモデルは、プリミティブのバイナリツリーの形で、様々なオブジェクトの高レベルな構造的分解を復元する。
ShapeNet と D-FAUST のデータセットを用いた実験により,部品の組織化を考慮すれば3次元形状の推論が容易になることが示された。
論文 参考訳（メタデータ） (2020-04-02T17:58:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。