論文の概要: DiffusionLight-Turbo: Accelerated Light Probes for Free via Single-Pass Chrome Ball Inpainting
- arxiv url: http://arxiv.org/abs/2507.01305v1
- Date: Wed, 02 Jul 2025 02:47:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-03 14:22:59.988646
- Title: DiffusionLight-Turbo: Accelerated Light Probes for Free via Single-Pass Chrome Ball Inpainting
- Title(参考訳): Diffusion Light-Turbo:シングルパスChromeボール塗布によるフリーの光プローブ
- Authors: Worameth Chinchuthakun, Pakkapon Phongthawee, Amit Raj, Varun Jampani, Pramook Khungurn, Supasorn Suwajanakorn,
- Abstract要約: そこで本研究では,単一低ダイナミックレンジ(LDR)画像からの照明をクロムボール塗布問題として再検討する手法を提案する。
このアプローチは、既存の手法の一般化失敗を克服するために、事前訓練された拡散モデルである安定拡散XLを利用する。
- 参考スコア(独自算出の注目度): 35.025921847344044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a simple yet effective technique for estimating lighting from a single low-dynamic-range (LDR) image by reframing the task as a chrome ball inpainting problem. This approach leverages a pre-trained diffusion model, Stable Diffusion XL, to overcome the generalization failures of existing methods that rely on limited HDR panorama datasets. While conceptually simple, the task remains challenging because diffusion models often insert incorrect or inconsistent content and cannot readily generate chrome balls in HDR format. Our analysis reveals that the inpainting process is highly sensitive to the initial noise in the diffusion process, occasionally resulting in unrealistic outputs. To address this, we first introduce DiffusionLight, which uses iterative inpainting to compute a median chrome ball from multiple outputs to serve as a stable, low-frequency lighting prior that guides the generation of a high-quality final result. To generate high-dynamic-range (HDR) light probes, an Exposure LoRA is fine-tuned to create LDR images at multiple exposure values, which are then merged. While effective, DiffusionLight is time-intensive, requiring approximately 30 minutes per estimation. To reduce this overhead, we introduce DiffusionLight-Turbo, which reduces the runtime to about 30 seconds with minimal quality loss. This 60x speedup is achieved by training a Turbo LoRA to directly predict the averaged chrome balls from the iterative process. Inference is further streamlined into a single denoising pass using a LoRA swapping technique. Experimental results that show our method produces convincing light estimates across diverse settings and demonstrates superior generalization to in-the-wild scenarios. Our code is available at https://diffusionlight.github.io/turbo
- Abstract(参考訳): 単一低ダイナミックレンジ (LDR) 画像からの照明をクロムボール塗布問題として再検討し, 簡易かつ効果的な照明推定手法を提案する。
このアプローチは、制限されたHDRパノラマデータセットに依存する既存のメソッドの一般化失敗を克服するために、事前訓練された拡散モデルである安定拡散XLを活用する。
概念的には単純であるが、拡散モデルがしばしば不正確または矛盾した内容を挿入し、容易にHDR形式でクロム球を生成することができないため、課題は残る。
解析の結果, 塗布過程は拡散過程の初期ノイズに非常に敏感であり, 時折非現実的な出力をもたらすことが明らかとなった。
最初にDiffusionLightを導入し、複数の出力から中央のクロムボールを計算することで、高品質な最終結果を生成する前に安定した低周波照明として機能する。
高ダイナミックレンジ(HDR)光プローブを生成するために、露光ローラを微調整して複数の露光値でLDR画像を生成し、それをマージする。
DiffusionLightは有効だが、時間集約的であり、推定に約30分を要する。
このオーバーヘッドを軽減するために、DiffusionLight-Turboを導入しました。
この60倍のスピードアップは、Turbo LoRAを訓練して、反復過程から平均されたクロム球を直接予測することで達成される。
推論は、LoRAスワップ技術を用いて、さらに1つのデノナイジングパスに合理化される。
提案手法を実証した実験結果から,様々な環境にまたがる説得力のある光推定値が得られた。
私たちのコードはhttps://diffusionlight.github.io/turboで利用可能です。
関連論文リスト
- LightLab: Controlling Light Sources in Images with Diffusion Models [49.83835236202516]
画像中の光源を微細かつパラメトリックに制御する拡散法を提案する。
我々は、光の線形性を利用して、ターゲット光源または周囲照明の制御された光の変化を描写した画像対を合成する。
提案手法は, ユーザの好みに基づいて, 従来の方法よりも優れた光編集結果が得られることを示す。
論文 参考訳(メタデータ) (2025-05-14T17:57:27Z) - One Diffusion Step to Real-World Super-Resolution via Flow Trajectory Distillation [60.54811860967658]
FluxSRはフローマッチングモデルに基づく新しい一段階拡散リアルISRである。
まず,フロートラジェクトリ蒸留(FTD)を導入し,多段階のフローマッチングモデルを1段階のリアルISRに蒸留する。
第2に、画像リアリズムを改善し、生成画像の高周波アーティファクト問題に対処するために、テレビLPIPSを知覚的損失として提案する。
論文 参考訳(メタデータ) (2025-02-04T04:11:29Z) - Unsupervised Low-light Image Enhancement with Lookup Tables and Diffusion Priors [38.96909959677438]
低照度画像強調(LIE)は、低照度環境において劣化した画像を高精度かつ効率的に回収することを目的としている。
近年の先進的なLIE技術は、多くの低正規の光画像対、ネットワークパラメータ、計算資源を必要とするディープニューラルネットワークを使用している。
拡散先行とルックアップテーブルに基づく新しい非教師付きLIEフレームワークを考案し,低照度画像の効率的な回復を実現する。
論文 参考訳(メタデータ) (2024-09-27T16:37:27Z) - Immiscible Diffusion: Accelerating Diffusion Training with Noise Assignment [56.609042046176555]
準最適雑音データマッピングは拡散モデルの遅い訓練につながる。
物理学における不和性現象からインスピレーションを得て,不和性拡散を提案する。
我々のアプローチは極めて単純で、各画像の拡散可能な領域を制限するために1行のコードしか必要としない。
論文 参考訳(メタデータ) (2024-06-18T06:20:42Z) - Blind Image Restoration via Fast Diffusion Inversion [17.139433082780037]
Blind Image Restoration via fast Diffusion (BIRD) は、劣化モデルパラメータと復元画像の協調最適化を行うブラインド赤外線法である。
提案手法の鍵となる考え方は、初期ノイズがサンプリングされると、逆サンプリングを変更すること、すなわち、中間潜水剤を全て変更しないことである。
画像復元作業におけるBIRDの有効性を実験的に検証し,それらすべてに対して,その成果が得られたことを示す。
論文 参考訳(メタデータ) (2024-05-29T23:38:12Z) - DiffusionLight: Light Probes for Free by Painting a Chrome Ball [33.3533919709863]
現在の技術は、HDRパノラマデータセットに大きく依存して、ニューラルネットワークをトレーニングし、視野の限られた入力をフル環境マップに回帰する。
我々は、数十億の標準画像に基づいて訓練された拡散モデルを利用して、クロム球を入力画像に描画する。
提案手法は,様々な設定にまたがる説得力のある光推定を行い,現場シナリオに対する優れた一般化を実証する。
論文 参考訳(メタデータ) (2023-12-14T17:34:53Z) - LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion Models [54.93010869546011]
本稿では,事前学習した潜伏拡散モデルを用いて,超低照度画像の高精細化のためのニューラルISPを実現することを提案する。
具体的には、RAWドメイン上で動作するために事前訓練された潜在拡散モデルを調整するために、軽量なテーミングモジュールのセットをトレーニングする。
遅延拡散モデルにおけるUNet復調と復号化の異なる役割を観察し、低照度画像強調タスクを遅延空間低周波コンテンツ生成と復号位相高周波ディテール保守に分解するきっかけとなる。
論文 参考訳(メタデータ) (2023-12-02T04:31:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。