論文の概要: SiTH: Single-view Textured Human Reconstruction with Image-Conditioned Diffusion

• arxiv url: http://arxiv.org/abs/2311.15855v2
• Date: Sat, 30 Mar 2024 14:21:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-02 15:05:24.179286
• Title: SiTH: Single-view Textured Human Reconstruction with Image-Conditioned Diffusion
• Title（参考訳）: SiTH:画像共有拡散を用いた単視点テクスチャ再構築
• Authors: Hsuan-I Ho, Jie Song, Otmar Hilliges,
• Abstract要約: SiTHは、イメージ条件付き拡散モデルと3Dメッシュ再構築ワークフローを統合する、新しいパイプラインである。 我々は、入力画像に基づいて、見えないバックビューの外観を幻覚させるために、強力な生成拡散モデルを用いる。 後者では,入力画像とバックビュー画像から全身のテクスチャメッシュを復元するためのガイダンスとして,肌付きボディーメッシュを利用する。
• 参考スコア（独自算出の注目度）: 35.73448283467723
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A long-standing goal of 3D human reconstruction is to create lifelike and fully detailed 3D humans from single-view images. The main challenge lies in inferring unknown body shapes, appearances, and clothing details in areas not visible in the images. To address this, we propose SiTH, a novel pipeline that uniquely integrates an image-conditioned diffusion model into a 3D mesh reconstruction workflow. At the core of our method lies the decomposition of the challenging single-view reconstruction problem into generative hallucination and reconstruction subproblems. For the former, we employ a powerful generative diffusion model to hallucinate unseen back-view appearance based on the input images. For the latter, we leverage skinned body meshes as guidance to recover full-body texture meshes from the input and back-view images. SiTH requires as few as 500 3D human scans for training while maintaining its generality and robustness to diverse images. Extensive evaluations on two 3D human benchmarks, including our newly created one, highlighted our method's superior accuracy and perceptual quality in 3D textured human reconstruction. Our code and evaluation benchmark are available at https://ait.ethz.ch/sith
• Abstract（参考訳）: 3Dの人間の復元の長年の目標は、一眼レフ画像から、生き生きとした、完全に詳細な3D人間を作ることである。 主な課題は、画像に見えない領域で、未知の体形、外観、衣服の詳細を推測することである。 そこで我々は,画像条件付き拡散モデルと3次元メッシュ再構築ワークフローを一意に統合した新しいパイプラインSiTHを提案する。 本手法の核心は,難解な単一視点再構成問題を生成幻覚と再構成サブプロブレムに分解することである。 前者に対しては、入力画像に基づいて、見えないバックビューの出現を幻覚させる強力な生成拡散モデルを用いる。 後者では,入力画像とバックビュー画像から全身のテクスチャメッシュを復元するためのガイダンスとして,肌付きボディーメッシュを利用する。 SiTHは、訓練のために最大500個の3Dスキャンを必要とするが、その汎用性と多様な画像に対する堅牢性は維持されている。 新たに作成したものを含む2つの3次元人体ベンチマークの広範囲な評価では,3次元テクスチャ化された人体再構成における手法の精度と知覚的品質が強調された。 私たちのコードと評価ベンチマークはhttps://ait.ethz.ch/sithで公開されています。

関連論文リスト

• Ultraman: Single Image 3D Human Reconstruction with Ultra Speed and Detail [11.604919466757003]
  本研究では,1つの画像からテクスチャ化された3次元人間のモデルを高速に再構成するためのemphUltramanという手法を提案する。 emphUltramanは、高品質なテクスチャの詳細を保存しながら、再構築のスピードと精度を大幅に改善する。
  論文  参考訳（メタデータ） (2024-03-18T17:57:30Z)
• HumanRef: Single Image to 3D Human Generation via Reference-Guided Diffusion [53.1558345421646]
  単一ビュー入力から3次元のヒューマン生成フレームワークであるHumanRefを提案する。 生成した3Dモデルが入力画像と光写実的に整合していることを保証するため、HumanRefは参照誘導スコア蒸留サンプリングと呼ばれる新しい手法を導入した。 実験結果から,HumanRefは3D衣服を製作する上で,最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-11-28T17:06:28Z)
• TeCH: Text-guided Reconstruction of Lifelike Clothed Humans [35.68114652041377]
  既存の方法は、ぼやけたテクスチャで非常に滑らかな裏面を生成することが多い。 基礎モデルの力に触発されて、TeCHは記述的テキストプロンプトを利用して3D人間を再構築する。 そこで本研究では,DMTetをベースとした3次元ハイブリッド表現を提案する。
  論文  参考訳（メタデータ） (2023-08-16T17:59:13Z)
• Refining 3D Human Texture Estimation from a Single Image [3.8761064607384195]
  1枚の画像から3次元の人間のテクスチャを推定することは、グラフィックと視覚に不可欠である。 本稿では,オフセットが深層ニューラルネットワークを介して学習される変形可能な畳み込みによって,入力を適応的にサンプリングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T19:53:50Z)
• ReFu: Refine and Fuse the Unobserved View for Detail-Preserving Single-Image 3D Human Reconstruction [31.782985891629448]
  シングルイメージの3次元再構成は,1枚の画像から人体の3次元テクスチャ面を再構築することを目的としている。 提案するReFuは、投影された背景像を精細化し、その精細な画像を融合して最終人体を予測するための粗大なアプローチである。
  論文  参考訳（メタデータ） (2022-11-09T09:14:11Z)
• NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks [50.40798258968408]
  本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。 われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。 ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-20T09:02:13Z)
• Detailed Avatar Recovery from Single Image [50.82102098057822]
  本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。 階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。 本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
  論文  参考訳（メタデータ） (2021-08-06T03:51:26Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
  本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。 私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
  論文  参考訳（メタデータ） (2021-01-11T18:53:47Z)
• RIN: Textured Human Model Recovery and Imitation with a Single Image [4.87676530016726]
  本稿では,1枚の画像からテクスチャ化された3Dモデルを構築するための新しいボリュームベースフレームワークを提案する。 具体的には、人間のテクスチャのほとんどを推定するために、U-Netのようなフロントエンド翻訳ネットワークを提案する。 実験の結果,人間の模倣には容積モデルが適切であることが示され,バックビューはネットワークを用いて確実に推定できることがわかった。
  論文  参考訳（メタデータ） (2020-11-24T11:04:35Z)
• Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
  入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。 我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。 我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
  論文  参考訳（メタデータ） (2020-08-16T13:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。