論文の概要: Unify3D: An Augmented Holistic End-to-end Monocular 3D Human Reconstruction via Anatomy Shaping and Twins Negotiating

• arxiv url: http://arxiv.org/abs/2504.18215v1
• Date: Fri, 25 Apr 2025 09:49:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.730625
• Title: Unify3D: An Augmented Holistic End-to-end Monocular 3D Human Reconstruction via Anatomy Shaping and Twins Negotiating
• Title（参考訳）: Unify3D:解剖学的形状とツインネゴシエーションによるホロスティック・エンド・ツー・エンドのモノクロ3D再構成
• Authors: Nanjie Yao, Gangjian Zhang, Wenhao Shen, Jian Shu, Hao Wang,
• Abstract要約: 本稿では,人間の再建を全体的プロセスとして扱う新しいパラダイムを紹介する。 本稿では、解剖学的形状抽出モジュールとツインズネゴシエイト再構成U-Netの2つのコアコンポーネントからなる新しい再構成フレームワークを提案する。 また,Comic Data Augmentation 戦略を提案し,より複雑なケースインプットでモデル性能を高めるために15k以上の人体スキャンを構築した。
• 参考スコア（独自算出の注目度）: 4.708237200844732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Monocular 3D clothed human reconstruction aims to create a complete 3D avatar from a single image. To tackle the human geometry lacking in one RGB image, current methods typically resort to a preceding model for an explicit geometric representation. For the reconstruction itself, focus is on modeling both it and the input image. This routine is constrained by the preceding model, and overlooks the integrity of the reconstruction task. To address this, this paper introduces a novel paradigm that treats human reconstruction as a holistic process, utilizing an end-to-end network for direct prediction from 2D image to 3D avatar, eliminating any explicit intermediate geometry display. Based on this, we further propose a novel reconstruction framework consisting of two core components: the Anatomy Shaping Extraction module, which captures implicit shape features taking into account the specialty of human anatomy, and the Twins Negotiating Reconstruction U-Net, which enhances reconstruction through feature interaction between two U-Nets of different modalities. Moreover, we propose a Comic Data Augmentation strategy and construct 15k+ 3D human scans to bolster model performance in more complex case input. Extensive experiments on two test sets and many in-the-wild cases show the superiority of our method over SOTA methods. Our demos can be found in : https://e2e3dgsrecon.github.io/e2e3dgsrecon/.
• Abstract（参考訳）: 1枚の画像から完全な3Dアバターを作成することを目的としている。 1つのRGB画像に欠けている人間の幾何学に取り組むために、現在の手法は、通常、明示的な幾何学的表現のために前のモデルに頼っている。 再構築そのものは、その画像と入力画像の両方をモデリングすることに集中する。 このルーチンは前モデルによって制約され、再構築作業の完全性を見落としている。 そこで本研究では,2次元画像から3次元アバターへの直接予測にエンド・ツー・エンド・ネットワークを用いて,人間の再構築を全体的プロセスとして扱う新しいパラダイムを提案する。 これに基づいて,人間の解剖の特質を考慮した暗黙の形状特徴をキャプチャする解剖形状抽出モジュールと,異なる2つのU-Net間の特徴相互作用による再構成を促進する双対ネゴシエイト再構成U-Netという,2つのコアコンポーネントからなる新しい再構築フレームワークを提案する。 さらに,より複雑なケースインプットでモデル性能を高めるために,Comic Data Augmentation戦略を提案し,15k以上の人体スキャンを構築した。 2つのテストセットと多くのインザギルドケースに対する大規模な実験は、SOTA法よりも本手法の方が優れていることを示している。 私たちのデモは、https://e2e3dgsrecon.github.io/e2e3dgsrecon/.comで公開されています。

関連論文リスト

• SiTH: Single-view Textured Human Reconstruction with Image-Conditioned Diffusion [35.73448283467723]
  SiTHは、イメージ条件付き拡散モデルと3Dメッシュ再構築ワークフローを統合する、新しいパイプラインである。 我々は、入力画像に基づいて、見えないバックビューの外観を幻覚させるために、強力な生成拡散モデルを用いる。 後者では,入力画像とバックビュー画像から全身のテクスチャメッシュを復元するためのガイダンスとして,肌付きボディーメッシュを利用する。
  論文  参考訳（メタデータ） (2023-11-27T14:22:07Z)
• USR: Unsupervised Separated 3D Garment and Human Reconstruction via Geometry and Semantic Consistency [41.89803177312638]
  本研究では,人体を再構築し,テクスチャ化された衣服を3次元モデルなしで層状に再現する,非教師付き分離型3D衣服と人体再構成モデルを提案する。 身近な多視点画像と身近な人物のジオメトリのマッピングを学習するための一般化した表面認識型ニューラルラジオアンス場を提案する。
  論文  参考訳（メタデータ） (2023-02-21T08:48:27Z)
• Hi-LASSIE: High-Fidelity Articulated Shape and Skeleton Discovery from Sparse Image Ensemble [72.3681707384754]
  Hi-LASSIEは、ユーザーが定義した形状やスケルトンテンプレートを使わずに、野生の20～30のオンライン画像から3Dで再現する。 まず,手動でアノテートした3Dスケルトンに頼る代わりに,選択した基準画像からクラス固有のスケルトンを自動的に推定する。 第二に、各インスタンスに忠実に適合する新しいインスタンス固有の最適化戦略により、形状再構成を改善する。
  論文  参考訳（メタデータ） (2022-12-21T14:31:33Z)
• Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
  シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。 本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。 我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
  論文  参考訳（メタデータ） (2022-08-04T14:13:35Z)
• NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks [50.40798258968408]
  本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。 われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。 ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-20T09:02:13Z)
• Deep3DPose: Realtime Reconstruction of Arbitrarily Posed Human Bodies from Single RGB Images [5.775625085664381]
  本研究では,3次元人間のポーズを正確に再構築し,単一画像から詳細な3次元フルボディ幾何モデルをリアルタイムに構築する手法を提案する。 このアプローチの鍵となるアイデアは、単一のイメージを使用して5つの出力を同時に予測する、新しいエンドツーエンドのマルチタスクディープラーニングフレームワークである。 本研究では,3次元人体フロンティアを進化させ,定量的評価と最先端手法との比較により,単一画像からの再構築を図っている。
  論文  参考訳（メタデータ） (2021-06-22T04:26:11Z)
• Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
  入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。 我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。 我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
  論文  参考訳（メタデータ） (2020-08-16T13:38:41Z)
• SparseFusion: Dynamic Human Avatar Modeling from Sparse RGBD Images [49.52782544649703]
  本稿では,RGBDフレームのスパース集合に基づく3次元人体形状の再構築手法を提案する。 主な課題は、これらのスパースフレームを標準的な3Dモデルにしっかりと融合させる方法だ。 私たちのフレームワークは柔軟で、潜在的なアプリケーションは形状の再構築を超えています。
  論文  参考訳（メタデータ） (2020-06-05T18:53:36Z)
• Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering [53.16864661460889]
  近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。 本稿では,ボディセグメンテーションを重要な監視対象として紹介する。 部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
  論文  参考訳（メタデータ） (2020-03-24T14:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。