論文の概要: Monocular Avatar Reconstruction via Cascaded Diffusion Priors and UV-Space Differentiable Shading

• arxiv url: http://arxiv.org/abs/2606.28144v1
• Date: Fri, 26 Jun 2026 14:41:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.517412
• Title: Monocular Avatar Reconstruction via Cascaded Diffusion Priors and UV-Space Differentiable Shading
• Title（参考訳）: Cascaded Diffusion Priors と UV-Space Differentiable Shading による単眼アバター再構成
• Abstract要約: 本研究では,高忠実で高照度な3Dアバターを1つの画像から再構成する枠組みを提案する。 提案手法は,100点未満の実3Dスキャンで訓練され,より優れたリアリズムと一般化を備えた包括的で4K解像度のPBR資産を生成する。
• 参考スコア（独自算出の注目度）: 22.58255448808833
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Reconstructing high-fidelity, relightable 3D avatars from a single in-the-wild image is a challenging ill-posed problem, primarily hindered by the scarcity of high-quality PBR data and the complexity of disentangling illumination from intrinsic materials. In this paper, we present a data-efficient framework that leverages the robust priors of a unified pre-trained diffusion backbone to sequentially address texture completion, delighting, and material decomposition. Unlike existing methods that rely on fragmented pipelines or extensive proprietary datasets, we utilize cascaded Low-Rank Adaptations (LoRAs) to adapt the strong generative prior of the diffusion model for each sub-task in UV space. Specifically, we first employ an Inpainting LoRA to complete missing UV textures caused by occlusion, leveraging the model's semantic understanding to generate semantically and photometrically coherent details. Subsequently, a Light-Homogenization LoRA and a novel Cross-Intrinsic Attention mechanism are introduced to remove baked-in lighting and collaboratively synthesize pixel-aligned PBR maps (Albedo, Normal, Roughness, Specular, and Displacement). To ensure physical plausibility, we impose a UV-space differentiable BRDF shading loss during the decomposition stage, forcing the generative process to adhere to the rendering equation without the artifacts typical of rasterization-based supervision. Extensive experiments demonstrate that our method, trained on fewer than 100 real 3D scans, generates comprehensive, 4K-resolution PBR assets with superior realism and generalization compared to state-of-the-art methods, and all training code and model weights will be released upon acceptance.
• Abstract（参考訳）: 高品質なPBRデータの不足や、本質的な材料から照明を遠ざけることの難しさから、高忠実で光沢のある3Dアバターを1本の像から再構成することは難しい問題である。 本稿では、統合された事前学習された拡散バックボーンの頑健な先行性を利用して、テクスチャ補完、喜び、材料分解を逐次処理するデータ効率フレームワークを提案する。 断片化されたパイプラインや広範囲のプロプライエタリなデータセットに依存する既存の手法とは異なり、我々はケースケード化されたローランド適応(LoRA)を使用して、UV空間の各サブタスクに対して拡散モデルの強い生成を適応させる。 具体的には、まず、隠蔽による紫外線テクスチャの欠如を補うために、Inpainting LoRAを使用し、モデルのセマンティック理解を活用して、セマンティックおよび光メトリックコヒーレントな詳細を生成する。 その後、焼成光を除去し、PBRマップ(アルベド、ノーマル、ラフネス、スペキュラ、変位)を協調的に合成するために、光均質化LORAと、新しいクロス固有の注意機構を導入する。 物理的可視性を確保するため, 分解過程中にUV空間の微分可能なBRDFシェーディング損失を課し, 生成過程はラスタライズをベースとした監視に典型的な人工物を使わずにレンダリング方程式に従わざるを得なかった。 大規模な実験により,本手法は100点未満の実3Dスキャンで訓練され,最先端の手法と比較して,総合的かつ4K解像度のPBRアセットが生成され,全てのトレーニングコードとモデルの重み付けが受け入れられることを示した。

関連論文リスト

• PointDiT: Pixel-Space Diffusion for Monocular Geometry Estimation [105.86385617182879]
  最先端のシングルイメージの3D再構成手法は複雑なハイブリッドアーキテクチャと損失関数に依存していることが多い。 このようなアーキテクチャ上のオーバーヘッドと複雑な損失の定式化は不要であることを示す。 我々は,平易なViT上に構築された最小限の画素空間拡散変換器を導入し,生の3Dポイントマップパッチを直接操作する。
  論文  参考訳（メタデータ） (2026-07-02T17:59:56Z)
• RTE-FM-Dehazer: Radiative Transfer Equation Inspired Flow Matching for Real-World Image Dehazing [23.480153155650502]
  シングルイメージデハジングは、ぼんやりしたイメージから明確なシーンを復元することを目的としており、一般的に画像から画像への変換タスクとして定式化されている。 本稿では、スケーラブルなデータパイプラインとともに、新しいデハージングアプローチであるRTE-FM-Dehazerを紹介する。 本稿では,RTE-FM-Dehazerが残留迷路やカラードリフトなどのアーティファクトを効果的に排除し,強いクロスドメインの一般化を示し,実世界のデハジングベンチマーク5つの主要な結果を得ることを示す。
  論文  参考訳（メタデータ） (2026-07-02T06:06:07Z)
• InpaintHuman: Reconstructing Occluded Humans with Multi-Scale UV Mapping and Identity-Preserving Diffusion Inpainting [64.42884719282323]
  InpaintHumanは、モノクロビデオから高忠実で完全でアニマタブルなアバターを生成する新しい方法である。 我々のアプローチは、アイデンティティの忠実性を保証するために、直接ピクセルレベルの監視を採用する。
  論文  参考訳（メタデータ） (2026-01-05T13:26:02Z)
• Multi-scale Attention-Guided Intrinsic Decomposition and Rendering Pass Prediction for Facial Images [0.0]
  本稿では,1枚のRGBポートレートから光正規化拡散アルベドマップを予測するマルチスケールアテンションガイド型内在ネットワークMAGINetを提案する。 パイプラインは拡散アルベド推定のための最先端性能を達成し、従来の手法と比較して、完全なレンダリングスタックの忠実度が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2025-12-18T13:23:49Z)
• MCMat: Multiview-Consistent and Physically Accurate PBR Material Generation [30.69364954074992]
  UNetベースの拡散モデルにより、マルチビュー物理レンダリングPBRマップを生成するが、マルチビューの不整合、いくつかの3Dメソッドは、UVマップを直接生成する。 そこで本研究では,PBR素材を特徴視する参照ビューを生成するために,特殊設計のTransformer DiDiモデルの両方を用いてPBR材料を生成することを提案する。
  論文  参考訳（メタデータ） (2024-12-18T18:45:35Z)
• CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
  スパース入力によるNeRFの性能向上のための新しい手法を提案する。 まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。 次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
  論文  参考訳（メタデータ） (2024-03-25T15:56:17Z)
• UniDream: Unifying Diffusion Priors for Relightable Text-to-3D Generation [101.2317840114147]
  We present UniDream, a text-to-3D generation framework by integration priors。 提案手法は,(1)アルベド正規配位型多視点拡散・再構成モデルを得るための2相学習プロセス,(2)訓練された再構成・拡散モデルを用いたスコア蒸留サンプル(SDS)に基づく幾何およびアルベドテクスチャのプログレッシブ生成手順,(3)安定拡散モデルに基づく固定アルベドを保ちながらPBR生成を確定するSDSの革新的な応用,の3つからなる。
  論文  参考訳（メタデータ） (2023-12-14T09:07:37Z)
• Reti-Diff: Illumination Degradation Image Restoration with Retinex-based Latent Diffusion Model [59.08821399652483]
  照明劣化画像復元(IDIR)技術は、劣化した画像の視認性を改善し、劣化した照明の悪影響を軽減することを目的としている。 これらのアルゴリズムのうち、拡散モデル(DM)に基づく手法は期待できる性能を示しているが、画像レベルの分布を予測する際に、重い計算要求や画素の不一致の問題に悩まされることが多い。 我々は、コンパクトな潜在空間内でDMを活用して、簡潔な指導先を生成することを提案し、IDIRタスクのためのReti-Diffと呼ばれる新しいソリューションを提案する。 Reti-Diff は Retinex-based Latent DM (RLDM) と Retinex-Guided Transformer (RG) の2つの鍵成分からなる。
  論文  参考訳（メタデータ） (2023-11-20T09:55:06Z)
• Light Field Diffusion for Single-View Novel View Synthesis [32.59286750410843]
  NVS(Single-view novel view synthesis)は、コンピュータビジョンにおいて重要であるが困難である。 NVSの最近の進歩は、高忠実度画像を生成するのに優れた能力として、Denoising Diffusion Probabilistic Models (DDPMs)を活用している。 光電界拡散(LFD)は,従来のカメラポーズ行列への依存を超越した,条件拡散に基づく新しいアプローチである。
  論文  参考訳（メタデータ） (2023-09-20T03:27:06Z)
• Relightify: Relightable 3D Faces from a Single Image via Diffusion Models [86.3927548091627]
  単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。 既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
  論文  参考訳（メタデータ） (2023-05-10T11:57:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。