論文の概要: SAT: Supervisor Regularization and Animation Augmentation for Two-process Monocular Texture 3D Human Reconstruction
- arxiv url: http://arxiv.org/abs/2508.19688v1
- Date: Wed, 27 Aug 2025 08:52:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-28 19:07:41.564079
- Title: SAT: Supervisor Regularization and Animation Augmentation for Two-process Monocular Texture 3D Human Reconstruction
- Title(参考訳): SAT: 2プロセス単分子テクスチャ3次元再構成のためのスーパーバイザの正規化とアニメーション化
- Authors: Gangjian Zhang, Jian Shu, Nanjie Yao, Hao Wang,
- Abstract要約: モノクラーテクスチャ3D人間の再構築は、単一のフロントビューの人間のRGB画像から完全な3Dデジタルアバターを作成することを目的としている。
本研究では,従来の様々な測地を統一的にシームレスに学習する2プロセスの人体再構成フレームワークSATを提案する。
また,データ不足に対処し,再現性を向上させるオンラインアニメーション拡張モジュールを提案する。
- 参考スコア(独自算出の注目度): 7.584417190255802
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Monocular texture 3D human reconstruction aims to create a complete 3D digital avatar from just a single front-view human RGB image. However, the geometric ambiguity inherent in a single 2D image and the scarcity of 3D human training data are the main obstacles limiting progress in this field. To address these issues, current methods employ prior geometric estimation networks to derive various human geometric forms, such as the SMPL model and normal maps. However, they struggle to integrate these modalities effectively, leading to view inconsistencies, such as facial distortions. To this end, we propose a two-process 3D human reconstruction framework, SAT, which seamlessly learns various prior geometries in a unified manner and reconstructs high-quality textured 3D avatars as the final output. To further facilitate geometry learning, we introduce a Supervisor Feature Regularization module. By employing a multi-view network with the same structure to provide intermediate features as training supervision, these varied geometric priors can be better fused. To tackle data scarcity and further improve reconstruction quality, we also propose an Online Animation Augmentation module. By building a one-feed-forward animation network, we augment a massive number of samples from the original 3D human data online for model training. Extensive experiments on two benchmarks show the superiority of our approach compared to state-of-the-art methods.
- Abstract(参考訳): モノクラーテクスチャ3D人間の再構築は、単一のフロントビューの人間のRGB画像から完全な3Dデジタルアバターを作成することを目的としている。
しかし、単一の2次元画像に固有の幾何学的曖昧さと3次元人間のトレーニングデータの不足は、この分野の進歩を制限する主な障害である。
これらの問題に対処するため、現在の手法では、SMPLモデルや通常の地図など、様々な人間の幾何学的形状を導出するために、事前の幾何学的推定網を用いている。
しかし、これらのモダリティを効果的に統合することは困難であり、顔の歪みなど不整合性を見出す結果となった。
そこで本研究では,2プロセスの3D再構成フレームワークSATを提案する。これは,従来の各種測地を統一的にシームレスに学習し,高品質なテクスチャ化された3Dアバターを最終出力として再構築する。
幾何学習をより容易にするために,スーパーバイザ特徴正規化モジュールを導入する。
同じ構造を持つマルチビューネットワークを使用して、トレーニングの監督と中間的な特徴を提供することにより、これらの様々な幾何学的事前情報をより融合させることができる。
データ不足に対処し、再構築品質をさらに向上するために、オンラインアニメーション拡張モジュールを提案する。
ワンフィードフォワードアニメーションネットワークを構築することで、モデルトレーニングのためにオリジナルの3D人間データから大量のサンプルをオンラインに蓄積する。
2つのベンチマークの大規模な実験は、最先端の手法と比較して、我々のアプローチの優位性を示している。
関連論文リスト
- Geometry and Perception Guided Gaussians for Multiview-consistent 3D Generation from a Single Image [10.36303976374455]
既存のアプローチはしばしば、微調整された事前訓練された2D拡散モデルや、高速ネットワーク推論を通じて直接3D情報を生成することに依存している。
本稿では,新たなモデルトレーニングを必要とせず,幾何や知覚をシームレスに統合する新しい手法を提案する。
提案手法の高忠実度化を実証し, 新規なビュー合成法と3次元再構成法とを比較検討した。
論文 参考訳(メタデータ) (2025-06-26T11:22:06Z) - Unify3D: An Augmented Holistic End-to-end Monocular 3D Human Reconstruction via Anatomy Shaping and Twins Negotiating [4.708237200844732]
本稿では,人間の再建を全体的プロセスとして扱う新しいパラダイムを紹介する。
本稿では、解剖学的形状抽出モジュールとツインズネゴシエイト再構成U-Netの2つのコアコンポーネントからなる新しい再構成フレームワークを提案する。
また,Comic Data Augmentation 戦略を提案し,より複雑なケースインプットでモデル性能を高めるために15k以上の人体スキャンを構築した。
論文 参考訳(メタデータ) (2025-04-25T09:49:23Z) - HumanDreamer-X: Photorealistic Single-image Human Avatars Reconstruction via Gaussian Restoration [29.03216532351979]
textbfHumanDreamer-Xは、マルチビューのヒューマン生成と再構築を統合パイプラインに統合する新しいフレームワークである。
このフレームワークでは、初期幾何学と外観優先を提供するために、3Dガウススプラッティングが明示的な3D表現として機能する。
また,多視点にわたる幾何的細部アイデンティティの整合性を効果的に向上するアテンション変調戦略を提案する。
論文 参考訳(メタデータ) (2025-04-04T15:35:14Z) - FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。
このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。
本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
論文 参考訳(メタデータ) (2024-10-13T01:25:05Z) - Get3DHuman: Lifting StyleGAN-Human into a 3D Generative Model using
Pixel-aligned Reconstruction Priors [56.192682114114724]
Get3DHumanは、生成された結果のリアリズムと多様性を大幅に向上させる、新しい3Dヒューマンフレームワークである。
我々のキーとなる観察は、この3Dジェネレータは、人間の2Dジェネレータと3Dコンストラクタを通して学んだ、人間関係の先行技術から利益を得ることができるということだ。
論文 参考訳(メタデータ) (2023-02-02T15:37:46Z) - Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。
本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。
我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
論文 参考訳(メタデータ) (2022-08-04T14:13:35Z) - Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。
以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。
本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文 参考訳(メタデータ) (2022-04-09T03:46:18Z) - NeuralReshaper: Single-image Human-body Retouching with Deep Neural
Networks [50.40798258968408]
本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。
われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。
ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
論文 参考訳(メタデータ) (2022-03-20T09:02:13Z) - Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。
我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。
我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
論文 参考訳(メタデータ) (2020-08-16T13:38:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。