論文の概要: RelitLRM: Generative Relightable Radiance for Large Reconstruction Models

• arxiv url: http://arxiv.org/abs/2410.06231v2
• Date: Thu, 10 Oct 2024 05:41:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 10:31:16.277383
• Title: RelitLRM: Generative Relightable Radiance for Large Reconstruction Models
• Title（参考訳）: RelitLRM:大規模再構成モデルのための生成可能放射能
• Authors: Tianyuan Zhang, Zhengfei Kuang, Haian Jin, Zexiang Xu, Sai Bi, Hao Tan, He Zhang, Yiwei Hu, Milos Hasan, William T. Freeman, Kai Zhang, Fujun Luan,
• Abstract要約: 本稿では,新しい照明下での3Dオブジェクトの高品質なガウススプレイティング表現を生成するためのRelitLRMを提案する。 複雑なキャプチャと遅い最適化を必要とする従来の逆レンダリングとは異なり、RelitLRMはフィードフォワードトランスフォーマーベースのモデルを採用している。 スパースビューフィードフォワードRelitLRMは、最先端の密集ビュー最適化ベースラインに対して、競争力のあるリライティング結果を提供する。
• 参考スコア（独自算出の注目度）: 52.672706620003765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose RelitLRM, a Large Reconstruction Model (LRM) for generating high-quality Gaussian splatting representations of 3D objects under novel illuminations from sparse (4-8) posed images captured under unknown static lighting. Unlike prior inverse rendering methods requiring dense captures and slow optimization, often causing artifacts like incorrect highlights or shadow baking, RelitLRM adopts a feed-forward transformer-based model with a novel combination of a geometry reconstructor and a relightable appearance generator based on diffusion. The model is trained end-to-end on synthetic multi-view renderings of objects under varying known illuminations. This architecture design enables to effectively decompose geometry and appearance, resolve the ambiguity between material and lighting, and capture the multi-modal distribution of shadows and specularity in the relit appearance. We show our sparse-view feed-forward RelitLRM offers competitive relighting results to state-of-the-art dense-view optimization-based baselines while being significantly faster. Our project page is available at: https://relit-lrm.github.io/.
• Abstract（参考訳）: 本研究では, 未知の静的照明下で撮影したスパース (4-8) ポーズ画像から, 新たな照明下での3次元物体の高品位ガウススプラッティング表現を生成するための大再構成モデルRelitLRMを提案する。 複雑なキャプチャと遅い最適化を必要とする以前の逆レンダリング手法とは異なり、しばしば誤ったハイライトやシャドウベーキングのようなアーティファクトを引き起こすが、RelitLRMは、幾何学再構成器と拡散に基づく光沢のある外観生成器を組み合わせたフィードフォワードトランスフォーマーベースのモデルを採用する。 モデルは、既知の様々な照明下でのオブジェクトの合成多視点レンダリングに基づいて、エンドツーエンドで訓練される。 このアーキテクチャ設計により、幾何学と外観を効果的に分解し、材料と照明のあいまいさを解消し、依存した外観における影と特異性の多モード分布を捉えることができる。 スパースビューフィードフォワードRelitLRMは、最先端の高精細ビュー最適化ベースラインに対して、競争力のあるリライティング結果を提供すると同時に、大幅に高速であることを示す。 私たちのプロジェクトページは、https://relit-lrm.github.io/.com/で公開されています。

関連論文リスト

• EnvGS: Modeling View-Dependent Appearance with Environment Gaussian [78.74634059559891]
  EnvGSは、環境の反射を捉えるための明示的な3D表現として、ガウスプリミティブのセットを利用する新しいアプローチである。 これらの環境を効率的にレンダリングするために,高速レンダリングにGPUのRTコアを利用するレイトレーシングベースのリフレクションを開発した。 複数の実世界および合成データセットから得られた結果は,本手法がより詳細な反射を生成することを示す。
  論文  参考訳（メタデータ） (2024-12-19T18:59:57Z)
• IDArb: Intrinsic Decomposition for Arbitrary Number of Input Views and Illuminations [64.07859467542664]
  画像から幾何学的および物質的情報をキャプチャすることは、コンピュータビジョンとグラフィックスの基本的な課題である。 従来の最適化に基づく手法では、密集した多視点入力から幾何学、材料特性、環境照明を再構築するために数時間の計算時間を必要とすることが多い。 IDArbは、様々な照明条件下で、任意の画像に対して本質的な分解を行うために設計された拡散モデルである。
  論文  参考訳（メタデータ） (2024-12-16T18:52:56Z)
• Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion [45.81230812844384]
  本稿では,2次元拡散先行から補助的な多照光条件を活用することにより,本質的な推定を促進する新しいフレームワークを提案する。 我々は、U-Netバックボーンで大きなGバッファモデルを訓練し、表面の正常さや材料を正確に予測する。
  論文  参考訳（メタデータ） (2024-12-12T18:58:09Z)
• MIRReS: Multi-bounce Inverse Rendering using Reservoir Sampling [17.435649250309904]
  本稿では,新しい2段階逆レンダリングフレームワークであるMIRReSを紹介する。 提案手法は, ステージ1で明示的な幾何(三角形メッシュ)を抽出し, より現実的な物理ベースの逆レンダリングモデルを導入する。 本手法は,自己陰影や内部反射を含む間接照明を効果的に推定する。
  論文  参考訳（メタデータ） (2024-06-24T07:00:57Z)
• GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
  マルチビュー画像から3次元メッシュを再構成する手法を提案する。 提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
  論文  参考訳（メタデータ） (2024-06-09T05:19:24Z)
• NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field Indirect Illumination [48.42173911185454]
  逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。 本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-03-29T12:05:19Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。