論文の概要: LIRM: Large Inverse Rendering Model for Progressive Reconstruction of Shape, Materials and View-dependent Radiance Fields

• arxiv url: http://arxiv.org/abs/2504.20026v1
• Date: Mon, 28 Apr 2025 17:48:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.547784
• Title: LIRM: Large Inverse Rendering Model for Progressive Reconstruction of Shape, Materials and View-dependent Radiance Fields
• Title（参考訳）: LIRM:大型逆レンダリングモデルによる形状・材質・視界依存放射界のプログレッシブ再構成
• Authors: Zhengqin Li, Dilin Wang, Ka Chen, Zhaoyang Lv, Thu Nguyen-Phuoc, Milim Lee, Jia-Bin Huang, Lei Xiao, Cheng Zhang, Yufeng Zhu, Carl S. Marshall, Yufeng Ren, Richard Newcombe, Zhao Dong,
• Abstract要約: 本稿では,高品質な形状,材料,放射界を共同で再構成するトランスフォーマーアーキテクチャであるLarge Inverse Rendering Model(LIRM)を提案する。 我々のモデルは、現在最先端のスパース・ビュー・リコンストラクション品質を実現する、最近の大規模リコンストラクション・モデル(LRM)に基づいて構築されている。
• 参考スコア（独自算出の注目度）: 23.174562444342286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Large Inverse Rendering Model (LIRM), a transformer architecture that jointly reconstructs high-quality shape, materials, and radiance fields with view-dependent effects in less than a second. Our model builds upon the recent Large Reconstruction Models (LRMs) that achieve state-of-the-art sparse-view reconstruction quality. However, existing LRMs struggle to reconstruct unseen parts accurately and cannot recover glossy appearance or generate relightable 3D contents that can be consumed by standard Graphics engines. To address these limitations, we make three key technical contributions to build a more practical multi-view 3D reconstruction framework. First, we introduce an update model that allows us to progressively add more input views to improve our reconstruction. Second, we propose a hexa-plane neural SDF representation to better recover detailed textures, geometry and material parameters. Third, we develop a novel neural directional-embedding mechanism to handle view-dependent effects. Trained on a large-scale shape and material dataset with a tailored coarse-to-fine training scheme, our model achieves compelling results. It compares favorably to optimization-based dense-view inverse rendering methods in terms of geometry and relighting accuracy, while requiring only a fraction of the inference time.
• Abstract（参考訳）: 本稿では,高品質な形状,材料,放射界を1秒未満で再現するトランスフォーマーアーキテクチャであるLarge Inverse Rendering Model(LIRM)を提案する。 我々のモデルは、現在最先端のスパース・ビュー・リコンストラクション品質を実現する、最近の大規模リコンストラクション・モデル(LRM)に基づいて構築されている。 しかし、既存のLEMは、目に見えない部品を正確に再構築するのに苦労し、光沢のある外観を回復したり、標準のグラフィックスエンジンで消費できる光沢のある3Dコンテンツを生成することができない。 これらの制約に対処するため、我々はより実用的なマルチビュー3D再構成フレームワークを構築するために、3つの重要な技術的貢献をする。 まず、インプットビューを段階的に追加し、再構築を改善するための更新モデルを導入する。 第2に, 詳細なテクスチャ, 形状, 材料パラメータをよりよく復元するヘキサ平面型ニューラルSDF表現を提案する。 第3に、ビュー依存効果に対処する神経指向性埋め込み機構を開発する。 粗大なトレーニングスキームを調整した大規模形状と材料データセットに基づいて学習し,本モデルにより説得力のある結果が得られる。 この手法は、幾何および照明精度の観点から最適化に基づく濃密なビュー逆レンダリング法と比較し、推論時間のほんの一部しか必要としない。

関連論文リスト

• Taming Feed-forward Reconstruction Models as Latent Encoders for 3D Generative Models [7.485139478358133]
  最近のAIベースの3Dコンテンツ作成は、フィードフォワード画像から3Dへの再構成アプローチと、2Dまたは3D監視でトレーニングされた3D生成モデルという、2つの経路に沿って大きく進化している。 本稿では,既存のフィードフォワード再構成手法が3次元生成モデルのトレーニングに有効な潜伏エンコーダとして有効であることを示し,これら2つのパラダイムをブリッジする。
  論文  参考訳（メタデータ） (2024-12-31T21:23:08Z)
• PBR-NeRF: Inverse Rendering with Physics-Based Neural Fields [49.6405458373509]
  シーン形状,材料,照明を共同で推定できる逆レンダリング(IR)モデルを提案する。 本手法は, 材料推定を必要とする他の逆レンダリングおよび3次元再構成フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-12-12T19:00:21Z)
• Hyperbolic-constraint Point Cloud Reconstruction from Single RGB-D Images [19.23499128175523]
  我々は3次元点雲再構成に双曲空間を導入し、低歪みの点雲における複雑な階層構造を表現・理解できるようにする。 我々のモデルは既存のモデルよりも優れており、アブレーション研究は我々のモデルとその構成要素の重要性を実証している。
  論文  参考訳（メタデータ） (2024-12-12T08:27:39Z)
• RelitLRM: Generative Relightable Radiance for Large Reconstruction Models [52.672706620003765]
  本稿では,新しい照明下での3Dオブジェクトの高品質なガウススプレイティング表現を生成するためのRelitLRMを提案する。 複雑なキャプチャと遅い最適化を必要とする従来の逆レンダリングとは異なり、RelitLRMはフィードフォワードトランスフォーマーベースのモデルを採用している。 スパースビューフィードフォワードRelitLRMは、最先端の密集ビュー最適化ベースラインに対して、競争力のあるリライティング結果を提供する。
  論文  参考訳（メタデータ） (2024-10-08T17:40:01Z)
• AniSDF: Fused-Granularity Neural Surfaces with Anisotropic Encoding for High-Fidelity 3D Reconstruction [55.69271635843385]
  AniSDF(AniSDF)は,高忠実度3次元再構成のための物理に基づく符号化による融合粒度ニューラルサーフェスを学習する新しいアプローチである。 本手法は, 幾何再構成と新規ビュー合成の両面において, SDF法の品質を飛躍的に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T03:10:38Z)
• GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
  マルチビュー画像から3次元メッシュを再構成する手法を提案する。 提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
  論文  参考訳（メタデータ） (2024-06-09T05:19:24Z)
• CRM: Single Image to 3D Textured Mesh with Convolutional Reconstruction Model [37.75256020559125]
  本稿では,高忠実度フィードフォワード画像から3次元画像生成モデルを提案する。 ネットワーク設計に幾何学的事前情報を統合する必要性を強調した。 我々のモデルは、テストタイムの最適化なしに、画像から10秒で高忠実なテクスチャメッシュを提供する。
  論文  参考訳（メタデータ） (2024-03-08T04:25:29Z)
• Learning Versatile 3D Shape Generation with Improved AR Models [91.87115744375052]
  自己回帰(AR)モデルはグリッド空間の関節分布をモデル化することにより2次元画像生成において印象的な結果を得た。 本稿では3次元形状生成のための改良された自己回帰モデル(ImAM)を提案する。
  論文  参考訳（メタデータ） (2023-03-26T12:03:18Z)
• Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement [78.48648360358193]
  画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。 我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。 ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
  論文  参考訳（メタデータ） (2023-03-03T17:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。