論文の概要: A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis
- arxiv url: http://arxiv.org/abs/2409.08947v1
- Date: Fri, 13 Sep 2024 16:07:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-16 15:50:08.030744
- Title: A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis
- Title（参考訳）: マルチイルミネーション合成による放射界リライト化への拡散アプローチ
- Authors: Yohan Poirier-Ginter, Alban Gauthier, Julien Phillip, Jean-Francois Lalonde, George Drettakis,
- Abstract要約: 単一照度データを用いた照度場作成手法を提案する。
光方向条件付き多照度データセット上で,まず2次元拡散モデルを微調整する。
単一照明下での合成および実マルチビューデータについて結果を示す。
- 参考スコア（独自算出の注目度）: 4.576442835703356
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Relighting radiance fields is severely underconstrained for multi-view data, which is most often captured under a single illumination condition; It is especially hard for full scenes containing multiple objects. We introduce a method to create relightable radiance fields using such single-illumination data by exploiting priors extracted from 2D image diffusion models. We first fine-tune a 2D diffusion model on a multi-illumination dataset conditioned by light direction, allowing us to augment a single-illumination capture into a realistic -- but possibly inconsistent -- multi-illumination dataset from directly defined light directions. We use this augmented data to create a relightable radiance field represented by 3D Gaussian splats. To allow direct control of light direction for low-frequency lighting, we represent appearance with a multi-layer perceptron parameterized on light direction. To enforce multi-view consistency and overcome inaccuracies we optimize a per-image auxiliary feature vector. We show results on synthetic and real multi-view data under single illumination, demonstrating that our method successfully exploits 2D diffusion model priors to allow realistic 3D relighting for complete scenes. Project site https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/
- Abstract（参考訳）: 照度場は、単一の照度条件下でキャプチャされることが多いマルチビューデータに対して、非常に過小評価され、特に複数のオブジェクトを含むフルシーンでは困難である。
本研究では,2次元画像拡散モデルから抽出した先行情報を利用して,このような単一照度データを用いた照度場を作成する手法を提案する。
私たちはまず、光方向によって条件付けられた多重照度データセット上の2次元拡散モデルを微調整し、単一の照度キャプチャーを、直接定義された光方向から現実的(しかし、おそらくは矛盾する)マルチ照度データセットに拡張できるようにしました。
我々はこの拡張データを用いて3次元ガウススプラットで表現された照度場を生成する。
低周波照明における光方向の直接制御を可能にするために,光方向をパラメータ化した多層パーセプトロンを用いて外観を表現する。
複数ビューの一貫性を強制し、不正確さを克服するために、画像ごとの補助特徴ベクトルを最適化する。
そこで,本手法では2次元拡散モデルを用いて実写3次元リライティングを実現し,実写3次元画像の合成と実写多視点データの合成を行った。
プロジェクトサイト https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/
関連論文リスト
- Localized Gaussian Splatting Editing with Contextual Awareness [10.46087834880747]
本稿では,3Dガウススプラッティング(3DGS)表現のための照明対応3Dシーン編集パイプラインを提案する。
最先端条件付き2次元拡散モデルによる塗装は、照明の背景と一致している。
提案手法は,光輸送を明示的にモデル化することなく,局所的な照明の整合性を効果的に実現している。
論文 参考訳（メタデータ） (2024-07-31T18:00:45Z) - Neural Gaffer: Relighting Any Object via Diffusion [43.87941408722868]
我々はニューラル・ギャファーと呼ばれる新しいエンドツーエンドの2次元ライティング拡散モデルを提案する。
我々のモデルは、任意の物体の1つの画像を取り、新しい照明条件下で、正確で高品質な信頼された画像を合成することができる。
本稿では,インターネット画像の総合化と精度の両面からモデルを評価し,その利点を一般化と精度の両面から示す。
論文 参考訳（メタデータ） (2024-06-11T17:50:15Z) - Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation [51.346733271166926]
Mesh2NeRFは、3次元生成タスクのためのテクスチャメッシュから地上構造放射場を導出するアプローチである。
各種タスクにおけるMesh2NeRFの有効性を検証する。
論文 参考訳（メタデータ） (2024-03-28T11:22:53Z) - DiLightNet: Fine-grained Lighting Control for Diffusion-based Image Generation [16.080481761005203]
テキスト駆動画像生成における微細な照明制御を実現するための新しい手法を提案する。
私たちのキーとなる観察は、拡散過程を導くだけではならず、そのため正確な放射率のヒントは必要ないということです。
我々は、様々なテキストプロンプトと照明条件に基づいて、照明制御拡散モデルを実証し、検証する。
論文 参考訳（メタデータ） (2024-02-19T08:17:21Z) - GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。
最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。
我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
論文 参考訳（メタデータ） (2023-12-08T16:05:15Z) - DiFaReli: Diffusion Face Relighting [13.000032155650835]
野生でのワンビューリライティングに新しいアプローチを提案する。
グローバル照明やキャストシャドーなどの非拡散効果を扱うことは、長い間、顔のリライティングの課題だった。
標準ベンチマークであるMulti-PIE上での最先端性能を実現し,画像の写実的リライトを実現する。
論文 参考訳（メタデータ） (2023-04-19T08:03:20Z) - NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field
Indirect Illumination [48.42173911185454]
逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。
本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
論文 参考訳（メタデータ） (2023-03-29T12:05:19Z) - Aleth-NeRF: Low-light Condition View Synthesis with Concealing Fields [65.96818069005145]
ビューアー中心のバニラNeRFは、表示方向の3D位置からの発光としてのみレンダリングプロセスを単純化する。
古代ギリシア人の排ガス理論に触発され、我々はバニラ・ネRFにわずかな修正を加え、低照度シーンの複数の視点で訓練した。
我々は、ボリュームレンダリングの段階で光の輸送を減らし、サロゲートの概念であるConcealing Fieldsを導入する。
論文 参考訳（メタデータ） (2023-03-10T09:28:09Z) - DiffRF: Rendering-Guided 3D Radiance Field Diffusion [18.20324411024166]
本稿では,拡散確率モデルに基づく3次元放射場合成の新しい手法であるDiffRFを紹介する。
2次元拡散モデルとは対照的に、我々のモデルは多視点一貫した先行情報を学習し、自由視点合成と正確な形状生成を可能にする。
論文 参考訳（メタデータ） (2022-12-02T14:37:20Z) - Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。
1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
論文 参考訳（メタデータ） (2022-05-19T06:44:37Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳（メタデータ） (2021-10-29T10:53:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。