論文の概要: SIFU: Side-view Conditioned Implicit Function for Real-world Usable Clothed Human Reconstruction

• arxiv url: http://arxiv.org/abs/2312.06704v1
• Date: Sun, 10 Dec 2023 11:45:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 18:45:46.076357
• Title: SIFU: Side-view Conditioned Implicit Function for Real-world Usable Clothed Human Reconstruction
• Title（参考訳）: SIFU:現実世界で使用可能な衣服再構築のためのサイドビューコンディショニングインシシシット機能
• Authors: Zechuan Zhang, Zongxin Yang, Yi Yang
• Abstract要約: 本稿では,Side-view Decoupling Transformerと3D Consistent Texture Refinementパイプラインを組み合わせた新しいアプローチであるSIFUを紹介する。 SMPL-X正規化をクエリとして使用して、2D機能を3Dにマッピングするプロセスにおいて、サイドビュー機能を効果的に分離する。 われわれのアプローチは、3Dプリンティングやシーンビルディングといった実用的応用にまで拡張され、現実世界のシナリオでその幅広い実用性を実証している。
• 参考スコア（独自算出の注目度）: 37.130340489259886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Creating high-quality 3D models of clothed humans from single images for real-world applications is crucial. Despite recent advancements, accurately reconstructing humans in complex poses or with loose clothing from in-the-wild images, along with predicting textures for unseen areas, remains a significant challenge. A key limitation of previous methods is their insufficient prior guidance in transitioning from 2D to 3D and in texture prediction. In response, we introduce SIFU (Side-view Conditioned Implicit Function for Real-world Usable Clothed Human Reconstruction), a novel approach combining a Side-view Decoupling Transformer with a 3D Consistent Texture Refinement pipeline.SIFU employs a cross-attention mechanism within the transformer, using SMPL-X normals as queries to effectively decouple side-view features in the process of mapping 2D features to 3D. This method not only improves the precision of the 3D models but also their robustness, especially when SMPL-X estimates are not perfect. Our texture refinement process leverages text-to-image diffusion-based prior to generate realistic and consistent textures for invisible views. Through extensive experiments, SIFU surpasses SOTA methods in both geometry and texture reconstruction, showcasing enhanced robustness in complex scenarios and achieving an unprecedented Chamfer and P2S measurement. Our approach extends to practical applications such as 3D printing and scene building, demonstrating its broad utility in real-world scenarios. Project page https://river-zhang.github.io/SIFU-projectpage/ .
• Abstract（参考訳）: 現実世界の応用のために、単一の画像から高品質な人間の3Dモデルを作成することが重要である。 近年の進歩にも拘わらず、複雑なポーズや被写体画像からのゆるい衣服の正確な復元や、見えない領域のテクスチャの予測は依然として大きな課題となっている。 従来の手法の重要な制限は、2Dから3Dへの遷移やテクスチャ予測における事前ガイダンスの不足である。 これに対し, SIFU (Side-view Conditioned Implicit Function for Real-world Usable Human Reconstruction) は, 2次元特徴を3次元にマッピングする過程で, SMPL-X正規化をクエリとして, トランスフォーマ内でのクロスアテンション機構を用いて, サイドビューデカップリングトランスフォーマと3次元連続テクスチャリファインメントパイプラインを組み合わせた新しいアプローチである。 この手法は3次元モデルの精度を向上するだけでなく、特にSMPL-X推定が完全でない場合には、その堅牢性も向上する。 テクスチャリファインメントプロセスはテキストから画像への拡散をベースとして,現実的で一貫したテクスチャを生成する。 広範な実験を通じて、sifuは幾何学とテクスチャの再構成の両方においてsota法を超越し、複雑なシナリオにおいて強固性を高め、前例のないシャンファーとp2sの測定を達成した。 われわれのアプローチは、3Dプリンティングやシーンビルディングといった実用的応用にまで拡張され、現実世界のシナリオでその幅広い実用性を実証している。 プロジェクトページ https://river-zhang.github.io/SIFU-projectpage/。

関連論文リスト

• FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
  テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。 このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。 本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
  論文  参考訳（メタデータ） (2024-10-13T01:25:05Z)
• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
  大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。 具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
  論文  参考訳（メタデータ） (2023-10-20T19:15:29Z)
• Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors [104.79392615848109]
  Magic123は、高品質でテクスチャ化された3Dメッシュのための、2段階の粗大なアプローチである。 最初の段階では、粗い幾何学を生成するために、神経放射場を最適化する。 第2段階では、視覚的に魅力的なテクスチャを持つ高分解能メッシュを生成するために、メモリ効率のよい微分可能なメッシュ表現を採用する。
  論文  参考訳（メタデータ） (2023-06-30T17:59:08Z)
• Make-It-3D: High-Fidelity 3D Creation from A Single Image with Diffusion Prior [36.40582157854088]
  本研究では,1枚の画像のみから高忠実度3Dコンテンツを作成する問題について検討する。 我々は、よく訓練された2D拡散モデルからの事前知識を活用し、3D生成のための3D認識監視として機能する。 本手法は,汎用オブジェクトの単一画像から高品質な3D作成を実現するための最初の試みであり,テキスト・ツー・3D作成やテクスチャ編集などの様々な応用を可能にする。
  論文  参考訳（メタデータ） (2023-03-24T17:54:22Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• Fine Detailed Texture Learning for 3D Meshes with Generative Models [33.42114674602613]
  本稿では,多視点画像と単視点画像の両方から高品質なテクスチャ3Dモデルを再構成する手法を提案する。 第1段階では正確な幾何学を学ぶことに集中し、第2段階では、生成的対向ネットワークを用いてテクスチャを学ぶことに集中する。 本手法は従来の手法に比べて優れた3次元テクスチャモデルを実現することを実証する。
  論文  参考訳（メタデータ） (2022-03-17T14:50:52Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。