論文の概要: ReLi3D: Relightable Multi-view 3D Reconstruction with Disentangled Illumination

• arxiv url: http://arxiv.org/abs/2603.19753v1
• Date: Fri, 20 Mar 2026 08:37:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.05705
• Title: ReLi3D: Relightable Multi-view 3D Reconstruction with Disentangled Illumination
• Title（参考訳）: ReLi3D:遠方イルミネーションによるマルチビュー3D再構成
• Authors: Jan-Niklas Dihlmann, Mark Boss, Simon Donne, Andreas Engelhardt, Hendrik P. A. Lensch, Varun Jampani,
• Abstract要約: ReLi3Dは、完全な3次元形状、空間的に変化する物理的素材、および環境光を1秒未満で再現する最初の統合エンドツーエンドパイプラインである。 提案手法の鍵となるのは,変換器のクロスコンディショニングアーキテクチャによるマルチビュー入力の融合である。
• 参考スコア（独自算出の注目度）: 44.640886020982464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reconstructing 3D assets from images has long required separate pipelines for geometry reconstruction, material estimation, and illumination recovery, each with distinct limitations and computational overhead. We present ReLi3D, the first unified end-to-end pipeline that simultaneously reconstructs complete 3D geometry, spatially-varying physically-based materials, and environment illumination from sparse multi-view images in under one second. Our key insight is that multi-view constraints can dramatically improve material and illumination disentanglement, a problem that remains fundamentally ill-posed for single-image methods. Key to our approach is the fusion of the multi-view input via a transformer cross-conditioning architecture, followed by a novel unified two-path prediction strategy. The first path predicts the object's structure and appearance, while the second path predicts the environment illumination from image background or object reflections. This, combined with a differentiable Monte Carlo multiple importance sampling renderer, creates an optimal illumination disentanglement training pipeline. In addition, with our mixed domain training protocol, which combines synthetic PBR datasets with real-world RGB captures, we establish generalizable results in geometry, material accuracy, and illumination quality. By unifying previously separate reconstruction tasks into a single feed-forward pass, we enable near-instantaneous generation of complete, relightable 3D assets. Project Page: https://reli3d.jdihlmann.com/
• Abstract（参考訳）: 画像から3Dアセットを再構築するには、幾何再構成、物質推定、照明回復のためのパイプラインが必要であり、それぞれに異なる制限と計算オーバーヘッドがある。 ReLi3Dは完全な3次元形状、空間的に変化する物理材料、環境光を1秒未満で再現する最初の統合エンドツーエンドパイプラインである。 私たちのキーとなる洞察は、マルチビューの制約は、物質と照明のゆがみを劇的に改善できるということです。 提案手法の鍵となるのは,変換器のクロスコンディショニングアーキテクチャによるマルチビュー入力の融合である。 第1の経路は物体の構造と外観を予測し、第2の経路は画像の背景や物体の反射から環境照明を予測する。 これは、微分可能なモンテカルロ多重サンプリングレンダラーと組み合わせて、最適な照明ディスタングルトレーニングパイプラインを生成する。 さらに、合成PBRデータセットと実世界のRGBキャプチャを組み合わせた混合ドメイントレーニングプロトコルにより、幾何学、材料精度、照明品質の一般化可能な結果を確立する。 以前分離した再構成タスクを1つのフィードフォワードパスにまとめることで、ほぼ瞬時に完全な3Dアセットを生成できる。 Project Page: https://reli3d.jdihlmann.com/

関連論文リスト

• IDArb: Intrinsic Decomposition for Arbitrary Number of Input Views and Illuminations [64.07859467542664]
  画像から幾何学的および物質的情報をキャプチャすることは、コンピュータビジョンとグラフィックスの基本的な課題である。 従来の最適化に基づく手法では、密集した多視点入力から幾何学、材料特性、環境照明を再構築するために数時間の計算時間を必要とすることが多い。 IDArbは、様々な照明条件下で、任意の画像に対して本質的な分解を行うために設計された拡散モデルである。
  論文  参考訳（メタデータ） (2024-12-16T18:52:56Z)
• GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
  マルチビュー画像から3次元メッシュを再構成する手法を提案する。 提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
  論文  参考訳（メタデータ） (2024-06-09T05:19:24Z)
• 2L3: Lifting Imperfect Generated 2D Images into Accurate 3D [16.66666619143761]
  マルチビュー(MV)3次元再構成は,生成したMV画像を一貫した3次元オブジェクトに融合させる,有望なソリューションである。 しかし、生成された画像は、通常、一貫性のない照明、不整合幾何学、スパースビューに悩まされ、復元の質が低下する。 本稿では, 内在的分解誘導, 過渡的モノ先行誘導, および3つの問題に対処するための視認性向上を活用する新しい3次元再構成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-29T02:30:31Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• Shape From Tracing: Towards Reconstructing 3D Object Geometry and SVBRDF Material from Images via Differentiable Path Tracing [16.975014467319443]
  識別可能なパストレースは、複雑な外観効果を再現できるため、魅力的なフレームワークである。 本稿では,初期粗いメッシュとメッシュファセット単位の材料表現を改良するために,微分可能なレイトレーシングを利用する方法を示す。 また、制約のない環境下での現実世界の物体の初期再構成を洗練させる方法についても示す。
  論文  参考訳（メタデータ） (2020-12-06T18:55:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。