論文の概要: LumiNet: Latent Intrinsics Meets Diffusion Models for Indoor Scene Relighting

• arxiv url: http://arxiv.org/abs/2412.00177v2
• Date: Tue, 03 Dec 2024 17:21:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:47:33.339711
• Title: LumiNet: Latent Intrinsics Meets Diffusion Models for Indoor Scene Relighting
• Title（参考訳）: LumiNet: 屋内のシーンリライティングのための拡散モデル
• Authors: Xiaoyan Xing, Konrad Groh, Sezer Karaoglu, Theo Gevers, Anand Bhattad,
• Abstract要約: ソースイメージとターゲットのライティングイメージが与えられた後、LumiNetはターゲットのライティングをキャプチャするソースシーンの依存バージョンを合成する。 LumiNetは2つの異なる画像から遅延表現を処理します。
• 参考スコア（独自算出の注目度）: 13.433775723052753
• License:
• Abstract: We introduce LumiNet, a novel architecture that leverages generative models and latent intrinsic representations for effective lighting transfer. Given a source image and a target lighting image, LumiNet synthesizes a relit version of the source scene that captures the target's lighting. Our approach makes two key contributions: a data curation strategy from the StyleGAN-based relighting model for our training, and a modified diffusion-based ControlNet that processes both latent intrinsic properties from the source image and latent extrinsic properties from the target image. We further improve lighting transfer through a learned adaptor (MLP) that injects the target's latent extrinsic properties via cross-attention and fine-tuning. Unlike traditional ControlNet, which generates images with conditional maps from a single scene, LumiNet processes latent representations from two different images - preserving geometry and albedo from the source while transferring lighting characteristics from the target. Experiments demonstrate that our method successfully transfers complex lighting phenomena including specular highlights and indirect illumination across scenes with varying spatial layouts and materials, outperforming existing approaches on challenging indoor scenes using only images as input.
• Abstract（参考訳）: 本稿では,LumiNetについて紹介する。LumiNetは生成モデルと潜在固有表現を有効光伝達に活用するアーキテクチャである。 ソースイメージとターゲットのライティングイメージが与えられた後、LumiNetはターゲットのライティングをキャプチャするソースシーンの依存バージョンを合成する。 提案手法は,StyleGANをベースとしたトレーニング用リライトモデルによるデータキュレーション戦略と,ソース画像からの潜伏固有特性とターゲット画像からの潜伏固有特性の両方を処理する改良拡散ベースコントロールネットの2つの重要な貢献を行う。 さらに,学習適応器(MLP)による光伝達を改良し,クロスアテンションと微調整により目標の潜伏特性を注入する。 単一のシーンから条件付きマップを持つイメージを生成する従来のControlNetとは異なり、LumiNetは2つの異なるイメージから潜時表現を処理する。 実験により, 空間配置や材質の異なるシーンに対して, 照度や間接照度などの複雑な照明現象の伝達に成功し, 画像のみを入力として, 屋内シーンに挑戦する既存手法よりも優れていることが示された。

関連論文リスト

• LumiSculpt: A Consistency Lighting Control Network for Video Generation [67.48791242688493]
  ライティングは、ビデオ生成の自然性を保証する上で重要な役割を果たす。 独立的でコヒーレントな照明特性を分離し、モデル化することは依然として困難である。 LumiSculptは、T2V生成モデルにおける正確で一貫した照明制御を可能にする。
  論文  参考訳（メタデータ） (2024-10-30T12:44:08Z)
• DifFRelight: Diffusion-Based Facial Performance Relighting [12.909429637057343]
  拡散に基づく画像から画像への変換を用いた,自由視点顔の表情のリライティングのための新しいフレームワークを提案する。 我々は、正確な照明制御のための拡散モデルを訓練し、フラットライト入力からの顔画像の高忠実度化を可能にする。 このモデルは、目の反射、地表面散乱、自影、半透明といった複雑な照明効果を正確に再現する。
  論文  参考訳（メタデータ） (2024-10-10T17:56:44Z)
• Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering [56.68286440268329]
  現実世界のシーンの画像に仮想オブジェクトを正しく挿入するには、シーンの照明、幾何学、材料を深く理解する必要がある。 本稿では,物理ベースの逆レンダリングプロセスへのガイダンスとして,パーソナライズされた大規模拡散モデルを提案する。 本手法は,シーンライティングとトーンマッピングのパラメータを復元し,任意の仮想オブジェクトの光リアルな構成を室内や屋外のシーンの単一フレームやビデオで再現する。
  論文  参考訳（メタデータ） (2024-08-19T05:15:45Z)
• Retinex-Diffusion: On Controlling Illumination Conditions in Diffusion Models via Retinex Theory [19.205929427075965]
  我々は,拡散モデルをブラックボックス画像レンダリングとして概念化し,そのエネルギー関数を画像形成モデルに沿って戦略的に分解する。 これは、キャストシャドウ、ソフトシャドウ、反射間など、現実的な照明効果を持つ画像を生成する。
  論文  参考訳（メタデータ） (2024-07-29T03:15:07Z)
• Designing An Illumination-Aware Network for Deep Image Relighting [69.750906769976]
  本稿では、階層的なサンプリングから1つの画像からシーンを段階的にリライトするためのガイダンスに従うイルミネーション・アウェア・ネットワーク(IAN)を提案する。 さらに、物理レンダリングプロセスの近似として、イルミネーション・アウェア・残留ブロック(IARB)が設計されている。 実験の結果,提案手法は従来の最先端手法よりも定量的,定性的な照準結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-07-21T16:21:24Z)
• Local Relighting of Real Scenes [31.305393724281604]
  本稿では,画像内から見える光源をオン/オフすることでシーンの撮影を切り替えるローカルリライティングの課題を紹介する。 この新しい課題は、光源を検知し、それらから発する光のパターンを推測するという課題を導入するため、従来の画像リライト問題とは異なる。 本稿では,他のモデルから生成した画像対を用いて,新しい画像データセットを監督せずにモデルを訓練する局所リライト手法を提案する。
  論文  参考訳（メタデータ） (2022-07-06T16:08:20Z)
• StyLitGAN: Prompting StyleGAN to Produce New Illumination Conditions [1.933681537640272]
  本稿では,ラベル付きデータがない場合に生成した画像をリライトし,再提示するための新しい手法であるStyLitGANを提案する。 提案手法では,ペアデータやCGIデータを必要とせず,キャストシャドウ,ソフトシャドウ,反射間効果,光沢効果などのリアルな照明効果を持つ画像を生成する。
  論文  参考訳（メタデータ） (2022-05-20T17:59:40Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Physically Inspired Dense Fusion Networks for Relighting [45.66699760138863]
  物理的洞察でニューラルネットワークを豊かにするモデルを提案する。 2つの異なる戦略により、新しい照明設定でリライト画像を生成します。 提案手法は,よく知られた忠実度指標と知覚的損失の点で,最先端手法を上回ることができることを示す。
  論文  参考訳（メタデータ） (2021-05-05T17:33:45Z)
• Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
  光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。 本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。 我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
  論文  参考訳（メタデータ） (2020-10-17T23:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。