論文の概要: IllumiNeRF: 3D Relighting Without Inverse Rendering

• arxiv url: http://arxiv.org/abs/2406.06527v2
• Date: Fri, 01 Nov 2024 20:52:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:41:44.894598
• Title: IllumiNeRF: 3D Relighting Without Inverse Rendering
• Title（参考訳）: IllumiNeRF:逆レンダリングなしの3Dライティング
• Authors: Xiaoming Zhao, Pratul P. Srinivasan, Dor Verbin, Keunhong Park, Ricardo Martin Brualla, Philipp Henzler,
• Abstract要約: 対象の環境光と推定対象形状を条件とした画像拡散モデルを用いて,各入力画像をリライトする方法を示す。 ニューラル・レージアンス・フィールド (NeRF) をこれらの信頼された画像で再構成し, 対象光の下で新しいビューを描画する。 この戦略は驚くほど競争力があり、複数のリライトベンチマークで最先端の結果が得られることを実証する。
• 参考スコア（独自算出の注目度）: 25.642960820693947
• License:
• Abstract: Existing methods for relightable view synthesis -- using a set of images of an object under unknown lighting to recover a 3D representation that can be rendered from novel viewpoints under a target illumination -- are based on inverse rendering, and attempt to disentangle the object geometry, materials, and lighting that explain the input images. Furthermore, this typically involves optimization through differentiable Monte Carlo rendering, which is brittle and computationally-expensive. In this work, we propose a simpler approach: we first relight each input image using an image diffusion model conditioned on target environment lighting and estimated object geometry. We then reconstruct a Neural Radiance Field (NeRF) with these relit images, from which we render novel views under the target lighting. We demonstrate that this strategy is surprisingly competitive and achieves state-of-the-art results on multiple relighting benchmarks. Please see our project page at https://illuminerf.github.io/.
• Abstract（参考訳）: 既存の可照性合成法 -- 未知の照明下でオブジェクトのイメージのセットを使用して、対象照明下で新しい視点からレンダリングできる3D表現を復元する -- は、逆レンダリングに基づいて、入力画像を説明するオブジェクトの幾何学、材料、照明を歪めようとする。 さらに、これは典型的には微分可能なモンテカルロレンダリングによる最適化が伴う。 本研究では,まず,対象環境光と推定対象形状を条件とした画像拡散モデルを用いて,入力画像のリライトを行う。 次に、これらの信頼された画像を用いてニューラル・レージアンス・フィールド(NeRF)を再構成し、ターゲット光の下で新しいビューを描画する。 この戦略は驚くほど競争力があり、複数のリライトベンチマークで最先端の結果が得られることを実証する。 プロジェクトページはhttps://illuminerf.github.io/.com/でご覧ください。

関連論文リスト

• GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis [63.5925701087252]
  本稿では,3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する手法を提案する。 Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異成分に分解する。 照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T13:48:54Z)
• SHINOBI: Shape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild [76.21063993398451]
  制約のない画像コレクションに基づくオブジェクトの逆レンダリングは、コンピュータビジョンとグラフィックスにおける長年の課題である。 マルチレゾリューションハッシュ符号化に基づく暗黙の形状表現により,高速かつ堅牢な形状復元が可能となることを示す。 本手法はクラス非依存であり,3Dアセットを生成するために,オブジェクトのWildイメージコレクションで動作する。
  論文  参考訳（メタデータ） (2024-01-18T18:01:19Z)
• DiFaReli: Diffusion Face Relighting [13.000032155650835]
  野生でのワンビューリライティングに新しいアプローチを提案する。 グローバル照明やキャストシャドーなどの非拡散効果を扱うことは、長い間、顔のリライティングの課題だった。 標準ベンチマークであるMulti-PIE上での最先端性能を実現し,画像の写実的リライトを実現する。
  論文  参考訳（メタデータ） (2023-04-19T08:03:20Z)
• Weakly-supervised Single-view Image Relighting [17.49214457620938]
  本稿では,ランベルトおよび低周波スペクトルの単一像をリライトする学習に基づくアプローチを提案する。 本手法では,写真からのオブジェクトを新しいシーンに挿入し,新しい環境照明下でリライトすることができる。
  論文  参考訳（メタデータ） (2023-03-24T08:20:16Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• OutCast: Outdoor Single-image Relighting with Cast Shadows [19.354412901507175]
  本研究では,屋外画像のリライティング手法を提案する。 本手法は,1枚の画像から任意の新しい照明方向の鋳造影を予測することに焦点を当てる。 提案手法は,1つの画像のみを入力として,初めて最先端のリライト結果を実現する。
  論文  参考訳（メタデータ） (2022-04-20T09:24:14Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。