論文の概要: DiHuR: Diffusion-Guided Generalizable Human Reconstruction

• arxiv url: http://arxiv.org/abs/2411.11903v1
• Date: Sat, 16 Nov 2024 03:52:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:36:56.844583
• Title: DiHuR: Diffusion-Guided Generalizable Human Reconstruction
• Title（参考訳）: DiHuR:拡散誘導型汎用人体再構築
• Authors: Jinnan Chen, Chen Li, Gim Hee Lee,
• Abstract要約: 一般化可能なヒト3次元再構成のための拡散誘導モデルであるDiHuRを導入し,スパース・ミニマル・オーバーラップ画像からのビュー合成について述べる。 提案手法は, 一般化可能なフィードフォワードモデルと2次元拡散モデルとの2つのキー前処理をコヒーレントな方法で統合する。
• 参考スコア（独自算出の注目度）: 51.31232435994026
• License:
• Abstract: We introduce DiHuR, a novel Diffusion-guided model for generalizable Human 3D Reconstruction and view synthesis from sparse, minimally overlapping images. While existing generalizable human radiance fields excel at novel view synthesis, they often struggle with comprehensive 3D reconstruction. Similarly, directly optimizing implicit Signed Distance Function (SDF) fields from sparse-view images typically yields poor results due to limited overlap. To enhance 3D reconstruction quality, we propose using learnable tokens associated with SMPL vertices to aggregate sparse view features and then to guide SDF prediction. These tokens learn a generalizable prior across different identities in training datasets, leveraging the consistent projection of SMPL vertices onto similar semantic areas across various human identities. This consistency enables effective knowledge transfer to unseen identities during inference. Recognizing SMPL's limitations in capturing clothing details, we incorporate a diffusion model as an additional prior to fill in missing information, particularly for complex clothing geometries. Our method integrates two key priors in a coherent manner: the prior from generalizable feed-forward models and the 2D diffusion prior, and it requires only multi-view image training, without 3D supervision. DiHuR demonstrates superior performance in both within-dataset and cross-dataset generalization settings, as validated on THuman, ZJU-MoCap, and HuMMan datasets compared to existing methods.
• Abstract（参考訳）: 人間の3次元再構成を一般化する新しい拡散誘導モデルであるDiHuRを導入し、疎度で最小重なりの画像を合成する。 既存の一般化可能なヒト放射界は、新しいビュー合成において優れているが、包括的な3D再構成に苦慮することが多い。 同様に、スパースビュー画像から直接暗黙の符号付き距離関数(SDF)フィールドを最適化することは、通常、重複が限られているため、結果を得られない。 本研究では,SMPL頂点に関連付けられた学習可能なトークンを用いて,スパースビューの特徴を集約し,SDF予測を導出する手法を提案する。 これらのトークンは、トレーニングデータセットにおける異なるアイデンティティをまたいだ一般化可能な事前学習を行い、SMPLの頂点を様々な人間のアイデンティティにわたって類似した意味領域に一貫した投影を活用する。 この一貫性は、推論中に見つからないアイデンティティへの効果的な知識伝達を可能にする。 SMPLの衣服情報取得の限界を認識し,特に複雑な衣服測地において,情報不足を補うために拡散モデルを付加する。 提案手法は, 一般化可能なフィードフォワードモデルと2次元拡散モデルとの2つのキー前処理をコヒーレントな方法で統合する。 DiHuRは、既存の方法と比較して、THuman、ZJU-MoCap、HuMManデータセットで検証されているように、データセット内およびデータセット間の一般化設定において優れたパフォーマンスを示す。

関連論文リスト

• MagicMan: Generative Novel View Synthesis of Humans with 3D-Aware Diffusion and Iterative Refinement [23.707586182294932]
  単一画像再構成における既存の作業は、訓練データ不足や総合的な多視点知識の欠如による3次元不整合により、弱い一般化性に悩まされている。 単一の参照画像から高品質な新規ビュー画像を生成するために設計された,人間固有の多視点拡散モデルであるMagicManを紹介する。
  論文  参考訳（メタデータ） (2024-08-26T12:10:52Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• GeoWizard: Unleashing the Diffusion Priors for 3D Geometry Estimation from a Single Image [94.56927147492738]
  単一画像から幾何学的属性を推定するための新しい生成基盤モデルであるGeoWizardを紹介する。 拡散前処理の活用は,資源利用における一般化,詳細な保存,効率性を著しく向上させることが示唆された。 本稿では,様々なシーンの複雑なデータ分布を,個別のサブディストリビューションに分離する,シンプルかつ効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-18T17:50:41Z)
• Template-Free Single-View 3D Human Digitalization with Diffusion-Guided LRM [29.13412037370585]
  本稿では,拡散誘導フィードフォワードモデルであるHuman-LRMを提案する。 本手法は,例えばSMPLなどのテンプレートを使わずにヒトを捕獲し,リッチでリアルなディテールで咬合部を効果的に増強することができる。
  論文  参考訳（メタデータ） (2024-01-22T18:08:22Z)
• Deceptive-NeRF/3DGS: Diffusion-Generated Pseudo-Observations for High-Quality Sparse-View Reconstruction [60.52716381465063]
  我々は,限られた入力画像のみを用いて,スパースビュー再構成を改善するために,Deceptive-NeRF/3DGSを導入した。 具体的には,少数視点再構成によるノイズ画像から高品質な擬似観測へ変換する,偽拡散モデルを提案する。 本システムでは,拡散生成擬似観測をトレーニング画像集合に徐々に組み込んで,スパース入力観測を5倍から10倍に高めている。
  論文  参考訳（メタデータ） (2023-05-24T14:00:32Z)
• Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction [77.69363640021503]
  3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。 本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T17:59:01Z)
• Progressive Multi-view Human Mesh Recovery with Self-Supervision [68.60019434498703]
  既存のソリューションは通常、新しい設定への一般化性能の低下に悩まされる。 マルチビューヒューマンメッシュリカバリのためのシミュレーションに基づく新しいトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-12-10T06:28:29Z)
• NeRDi: Single-View NeRF Synthesis with Language-Guided Diffusion as General Image Priors [24.05480789681139]
  本研究では,2次元拡散モデルから一般的な画像の事前処理が可能な単一視点NeRF合成フレームワークNeRDiを提案する。 市販の視覚言語モデルを活用し、拡散モデルに条件付け入力として2節言語ガイダンスを導入する。 In-the-wild画像に対するゼロショットNeRF合成における一般化可能性も示す。
  論文  参考訳（メタデータ） (2022-12-06T19:00:07Z)
• Self-supervised Human Mesh Recovery with Cross-Representation Alignment [20.69546341109787]
  自己教師付きヒューマンメッシュリカバリ手法は、3Dアノテーション付きベンチマークデータセットの可用性と多様性が制限されているため、一般化性が低い。 頑健だがスパースな表現(2Dキーポイント)からの相補的情報を利用した相互表現アライメントを提案する。 この適応的相互表現アライメントは、偏差から明示的に学習し、相補的な情報(疎表現からの豊かさと密表現からの堅牢さ)をキャプチャする。
  論文  参考訳（メタデータ） (2022-09-10T04:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。