論文の概要: LightIt: Illumination Modeling and Control for Diffusion Models

• arxiv url: http://arxiv.org/abs/2403.10615v2
• Date: Mon, 25 Mar 2024 09:42:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 23:01:39.708420
• Title: LightIt: Illumination Modeling and Control for Diffusion Models
• Title（参考訳）: LightIt:拡散モデルの照明モデリングと制御
• Authors: Peter Kocsis, Julien Philip, Kalyan Sunkavalli, Matthias Nießner, Yannick Hold-Geoffroy,
• Abstract要約: 我々は、画像生成のための明示的な照明制御方法であるLightItを紹介する。 最近の生成法では照明制御が欠如しており、画像生成の多くの芸術的側面に不可欠である。 本手法は、制御可能で一貫した照明による画像生成を可能にする最初の方法である。
• 参考スコア（独自算出の注目度）: 61.80461416451116
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce LightIt, a method for explicit illumination control for image generation. Recent generative methods lack lighting control, which is crucial to numerous artistic aspects of image generation such as setting the overall mood or cinematic appearance. To overcome these limitations, we propose to condition the generation on shading and normal maps. We model the lighting with single bounce shading, which includes cast shadows. We first train a shading estimation module to generate a dataset of real-world images and shading pairs. Then, we train a control network using the estimated shading and normals as input. Our method demonstrates high-quality image generation and lighting control in numerous scenes. Additionally, we use our generated dataset to train an identity-preserving relighting model, conditioned on an image and a target shading. Our method is the first that enables the generation of images with controllable, consistent lighting and performs on par with specialized relighting state-of-the-art methods.
• Abstract（参考訳）: 我々は、画像生成のための明示的な照明制御方法であるLightItを紹介する。 近年の生成法では照明制御が欠如しており、全体の気分や映像の外観の設定など、画像生成の多くの芸術的側面に欠如している。 これらの制限を克服するために、シェーディングと正規写像の生成を条件にすることを提案する。 私たちは、キャストシャドウを含む単一のバウンスシェーディングで照明をモデル化します。 まずシェーディング推定モジュールをトレーニングし、実世界の画像とシェーディングペアのデータセットを生成する。 次に、推定シェーディングと正規化を入力として制御ネットワークを訓練する。 本手法は,多数のシーンにおいて高品質な画像生成と照明制御を実現する。 さらに、生成したデータセットを使用して、画像とターゲットシェーディングに条件付けされたID保存リライトモデルをトレーニングします。 本手法は、制御可能で一貫した照度を持つ画像の生成を可能にする最初の方法であり、特殊照準方式と同等の処理を行う。

関連論文リスト

• Retinex-Diffusion: On Controlling Illumination Conditions in Diffusion Models via Retinex Theory [19.205929427075965]
  我々は,拡散モデルをブラックボックス画像レンダリングとして概念化し,そのエネルギー関数を画像形成モデルに沿って戦略的に分解する。 これは、キャストシャドウ、ソフトシャドウ、反射間など、現実的な照明効果を持つ画像を生成する。
  論文  参考訳（メタデータ） (2024-07-29T03:15:07Z)
• DiLightNet: Fine-grained Lighting Control for Diffusion-based Image Generation [16.080481761005203]
  テキスト駆動画像生成における微細な照明制御を実現するための新しい手法を提案する。 私たちのキーとなる観察は、拡散過程を導くだけではならず、そのため正確な放射率のヒントは必要ないということです。 我々は、様々なテキストプロンプトと照明条件に基づいて、照明制御拡散モデルを実証し、検証する。
  論文  参考訳（メタデータ） (2024-02-19T08:17:21Z)
• Designing An Illumination-Aware Network for Deep Image Relighting [69.750906769976]
  本稿では、階層的なサンプリングから1つの画像からシーンを段階的にリライトするためのガイダンスに従うイルミネーション・アウェア・ネットワーク(IAN)を提案する。 さらに、物理レンダリングプロセスの近似として、イルミネーション・アウェア・残留ブロック(IARB)が設計されている。 実験の結果,提案手法は従来の最先端手法よりも定量的,定性的な照準結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-07-21T16:21:24Z)
• Geometry-aware Single-image Full-body Human Relighting [37.381122678376805]
  単一イメージの人間のリライティングは、入力画像をアルベド、形状、照明に分解することで、新たな照明条件下でターゲットの人間をリライティングすることを目的としている。 それまでの方法は、アルベドと照明の絡み合いと、硬い影の欠如に悩まされていた。 我々のフレームワークは、難易度の高い照明条件下で、キャストシャドウのような光現実性の高い高周波影を生成することができる。
  論文  参考訳（メタデータ） (2022-07-11T10:21:02Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• Neural Radiance Fields for Outdoor Scene Relighting [70.97747511934705]
  ニューラルラジアンス場に基づく屋外シーンライティングのための最初のアプローチであるNeRF-OSRを提案する。 従来の技術とは対照的に,本手法はシーン照明とカメラ視点の同時編集を可能にする。 シャドウ再現のための専用ネットワークも備えており、高品質の屋外照明に欠かせない。
  論文  参考訳（メタデータ） (2021-12-09T18:59:56Z)
• SIDNet: Learning Shading-aware Illumination Descriptor for Image Harmonization [10.655037947250516]
  画像調和は、背景との互換性を高めるために前景の外観を調整することを目的としている。 画像調和タスクを,1)背景画像の照度推定と2)背景照明下の前景オブジェクトの再レンダリングの2つのサブプロブレムに分解する。
  論文  参考訳（メタデータ） (2021-12-02T15:18:29Z)
• Self-supervised Outdoor Scene Relighting [92.20785788740407]
  本稿では, 自己指導型リライティング手法を提案する。 当社のアプローチは,ユーザの監督なしにインターネットから収集した画像のコーパスのみに基づいて訓練されている。 以上の結果から,写実的かつ物理的に妥当な結果を生成できる技術が,見えない場面に一般化できることが示唆された。
  論文  参考訳（メタデータ） (2021-07-07T09:46:19Z)
• Relighting Images in the Wild with a Self-Supervised Siamese Auto-Encoder [62.580345486483886]
  本研究では,野生の単一ビュー画像の自己教師付きリライティング手法を提案する。 この方法は、イメージを2つの別々のエンコーディングに分解するオートエンコーダに基づいている。 Youtube 8MやCelebAなどの大規模データセットでモデルをトレーニングします。
  論文  参考訳（メタデータ） (2020-12-11T16:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。