論文の概要: DreamLight: Towards Harmonious and Consistent Image Relighting

• arxiv url: http://arxiv.org/abs/2506.14549v1
• Date: Tue, 17 Jun 2025 14:05:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.50876
• Title: DreamLight: Towards Harmonious and Consistent Image Relighting
• Title（参考訳）: DreamLight: 調和と一貫性のあるイメージリライティングを目指す
• Authors: Yong Liu, Wenpeng Xiao, Qianqian Wang, Junlin Chen, Shiyin Wang, Yitong Wang, Xinglong Wu, Yansong Tang,
• Abstract要約: ユニバーサル・イメージ・リライティングのためのDreamLightというモデルを導入する。 照明や色調の美的均一性を保ちつつ、被験者をシームレスに新しい背景に合成することができる。
• 参考スコア（独自算出の注目度）: 41.90032795389507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a model named DreamLight for universal image relighting in this work, which can seamlessly composite subjects into a new background while maintaining aesthetic uniformity in terms of lighting and color tone. The background can be specified by natural images (image-based relighting) or generated from unlimited text prompts (text-based relighting). Existing studies primarily focus on image-based relighting, while with scant exploration into text-based scenarios. Some works employ intricate disentanglement pipeline designs relying on environment maps to provide relevant information, which grapples with the expensive data cost required for intrinsic decomposition and light source. Other methods take this task as an image translation problem and perform pixel-level transformation with autoencoder architecture. While these methods have achieved decent harmonization effects, they struggle to generate realistic and natural light interaction effects between the foreground and background. To alleviate these challenges, we reorganize the input data into a unified format and leverage the semantic prior provided by the pretrained diffusion model to facilitate the generation of natural results. Moreover, we propose a Position-Guided Light Adapter (PGLA) that condenses light information from different directions in the background into designed light query embeddings, and modulates the foreground with direction-biased masked attention. In addition, we present a post-processing module named Spectral Foreground Fixer (SFF) to adaptively reorganize different frequency components of subject and relighted background, which helps enhance the consistency of foreground appearance. Extensive comparisons and user study demonstrate that our DreamLight achieves remarkable relighting performance.
• Abstract（参考訳）: 本研究では,被験者を新たな背景にシームレスに合成し,照明や色調の美的均一性を保ちながら,ユニバーサルなイメージリライティングのためのモデルDreamLightを紹介する。 背景は、自然画像(画像ベースのリライト)または無制限テキストプロンプト(テキストベースのリライト)から生成される。 既存の研究は主に画像ベースのリライティングに焦点を当て、テキストベースのシナリオをスキャンする。 いくつかの研究では、環境マップに頼って複雑なゆがみパイプラインを設計し、関連する情報を提供し、本質的な分解と光源に必要な高価なデータコストを補っている。 他の手法では、このタスクを画像翻訳問題として捉え、オートエンコーダアーキテクチャを用いてピクセルレベルの変換を行う。 これらの手法は良好な調和効果を得たが、前景と背景の間の現実的で自然な光相互作用効果を生み出すのに苦労している。 これらの課題を解決するため、我々は入力データを統一された形式に再構成し、事前訓練された拡散モデルによって提供されるセマンティクスを活用し、自然結果の生成を容易にする。 さらに、背景の異なる方向からの光情報を設計された光クエリ埋め込みに凝縮し、方向偏光マスキングによる前景の変調を行う位置案内型光適応器(PGLA)を提案する。 さらに,被写体と照明背景の異なる周波数成分を適応的に再構成し,前景外観の整合性を高めるために,SFF (Spectral Foreground Fixer) というポストプロセッシングモジュールを提案する。 大規模な比較とユーザスタディにより、DreamLightは素晴らしいライティングパフォーマンスを実現しています。

関連論文リスト

• Light as Deception: GPT-driven Natural Relighting Against Vision-Language Pre-training Models [56.84206059390887]
  textbfLightDは、視覚・言語事前学習モデルのための自然な逆転サンプルを生成する新しいフレームワークである。 LightDは、シーンセマンティクスとの摂動を確実にしながら、最適化空間を拡張します。
  論文  参考訳（メタデータ） (2025-05-30T05:30:02Z)
• LightLab: Controlling Light Sources in Images with Diffusion Models [49.83835236202516]
  画像中の光源を微細かつパラメトリックに制御する拡散法を提案する。 我々は、光の線形性を利用して、ターゲット光源または周囲照明の制御された光の変化を描写した画像対を合成する。 提案手法は, ユーザの好みに基づいて, 従来の方法よりも優れた光編集結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-05-14T17:57:27Z)
• DifFRelight: Diffusion-Based Facial Performance Relighting [12.909429637057343]
  拡散に基づく画像から画像への変換を用いた,自由視点顔の表情のリライティングのための新しいフレームワークを提案する。 我々は、正確な照明制御のための拡散モデルを訓練し、フラットライト入力からの顔画像の高忠実度化を可能にする。 このモデルは、目の反射、地表面散乱、自影、半透明といった複雑な照明効果を正確に再現する。
  論文  参考訳（メタデータ） (2024-10-10T17:56:44Z)
• Relightful Harmonization: Lighting-aware Portrait Background Replacement [23.19641174787912]
  背景画像を用いた背景像に対する高度な照明効果をシームレスに調和させるライティング対応拡散モデルであるRelightful Harmonizationを導入する。 まず、拡散モデルを用いて、対象画像の背景から照明情報をエンコードする照明表現モジュールを導入する。 第2に、画像背景から学習した照明特徴と、パノラマ環境マップから学習した照明特徴とを整列するアライメントネットワークを導入する。
  論文  参考訳（メタデータ） (2023-12-11T23:20:31Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Designing An Illumination-Aware Network for Deep Image Relighting [69.750906769976]
  本稿では、階層的なサンプリングから1つの画像からシーンを段階的にリライトするためのガイダンスに従うイルミネーション・アウェア・ネットワーク(IAN)を提案する。 さらに、物理レンダリングプロセスの近似として、イルミネーション・アウェア・残留ブロック(IARB)が設計されている。 実験の結果,提案手法は従来の最先端手法よりも定量的,定性的な照準結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-07-21T16:21:24Z)
• SIDNet: Learning Shading-aware Illumination Descriptor for Image Harmonization [10.655037947250516]
  画像調和は、背景との互換性を高めるために前景の外観を調整することを目的としている。 画像調和タスクを,1)背景画像の照度推定と2)背景照明下の前景オブジェクトの再レンダリングの2つのサブプロブレムに分解する。
  論文  参考訳（メタデータ） (2021-12-02T15:18:29Z)
• Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
  光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。 本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。 我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
  論文  参考訳（メタデータ） (2020-10-17T23:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。