論文の概要: DiffusionLight: Light Probes for Free by Painting a Chrome Ball
- arxiv url: http://arxiv.org/abs/2312.09168v1
- Date: Thu, 14 Dec 2023 17:34:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-15 20:37:47.657872
- Title: DiffusionLight: Light Probes for Free by Painting a Chrome Ball
- Title(参考訳): DiffusionLight:Chromeのボールにペンキを塗って無料の光プローブ
- Authors: Pakkapon Phongthawee, Worameth Chinchuthakun, Nontaphat Sinsunthithet,
Amit Raj, Varun Jampani, Pramook Khungurn, Supasorn Suwajanakorn
- Abstract要約: 現在の技術は、HDRパノラマデータセットに大きく依存して、ニューラルネットワークをトレーニングし、視野の限られた入力をフル環境マップに回帰する。
我々は、数十億の標準画像に基づいて訓練された拡散モデルを利用して、クロム球を入力画像に描画する。
提案手法は,様々な設定にまたがる説得力のある光推定を行い,現場シナリオに対する優れた一般化を実証する。
- 参考スコア(独自算出の注目度): 35.025921847344044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a simple yet effective technique to estimate lighting in a single
input image. Current techniques rely heavily on HDR panorama datasets to train
neural networks to regress an input with limited field-of-view to a full
environment map. However, these approaches often struggle with real-world,
uncontrolled settings due to the limited diversity and size of their datasets.
To address this problem, we leverage diffusion models trained on billions of
standard images to render a chrome ball into the input image. Despite its
simplicity, this task remains challenging: the diffusion models often insert
incorrect or inconsistent objects and cannot readily generate images in HDR
format. Our research uncovers a surprising relationship between the appearance
of chrome balls and the initial diffusion noise map, which we utilize to
consistently generate high-quality chrome balls. We further fine-tune an LDR
difusion model (Stable Diffusion XL) with LoRA, enabling it to perform exposure
bracketing for HDR light estimation. Our method produces convincing light
estimates across diverse settings and demonstrates superior generalization to
in-the-wild scenarios.
- Abstract(参考訳): 本稿では,単一入力画像における照明推定のための簡易かつ効果的な手法を提案する。
現在の技術は、HDRパノラマデータセットに大きく依存して、ニューラルネットワークをトレーニングし、視野の限られた入力をフル環境マップに回帰する。
しかしながら、これらのアプローチは、データセットの多様性とサイズが限られているため、実世界の制御不能な設定に苦しむことが多い。
この問題に対処するため、我々は数十億の標準画像でトレーニングされた拡散モデルを利用して、chromeボールが入力画像にレンダリングされる。
拡散モデルはしばしば不正確なオブジェクトや一貫性のないオブジェクトを挿入し、hdr形式では簡単に画像を生成することができない。
我々の研究は、クロムボールの出現と初期拡散ノイズマップとの驚くべき関係を解明し、高品質なクロムボールの連続生成に利用した。
さらに、LDR拡散モデル(Stable Diffusion XL)をLoRAで微調整し、HDR光推定のための露光ブラケットを行う。
提案手法は,様々な設定にまたがる説得力のある光推定を行い,現場シナリオに優れた一般化を示す。
関連論文リスト
- LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion Models [54.93010869546011]
本稿では,事前学習した潜伏拡散モデルを用いて,超低照度画像の高精細化のためのニューラルISPを実現することを提案する。
具体的には、RAWドメイン上で動作するために事前訓練された潜在拡散モデルを調整するために、軽量なテーミングモジュールのセットをトレーニングする。
遅延拡散モデルにおけるUNet復調と復号化の異なる役割を観察し、低照度画像強調タスクを遅延空間低周波コンテンツ生成と復号位相高周波ディテール保守に分解するきっかけとなる。
論文 参考訳(メタデータ) (2023-12-02T04:31:51Z) - Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。
提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。
現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
論文 参考訳(メタデータ) (2023-09-15T14:19:36Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳(メタデータ) (2023-05-07T20:36:29Z) - Multi-Exposure HDR Composition by Gated Swin Transformer [8.619880437958525]
本稿では,Swin Transformerに基づく新しいマルチ露光融合モデルを提案する。
露光空間ピラミッドにおける遠距離文脈依存性を自己認識機構により活用する。
実験により,本モデルが現在のマルチ露光HDR画像モデルと同等の精度が得られることが示された。
論文 参考訳(メタデータ) (2023-03-15T15:38:43Z) - GlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild [74.52723408793648]
そこで本研究では,HDR画像の生成モデルを構築するための第1の手法について述べる。
鍵となる考え方は、GAN(Generative Adversarial Network)を訓練して、様々な露光下でLDRに投影された場合、実際のLDR画像と区別できないHDR画像を生成することである。
実験の結果,GlowGANはランドスケープ,雷,窓など多くの難題において,光現実的HDR画像を合成できることがわかった。
論文 参考訳(メタデータ) (2022-11-22T15:42:08Z) - HDR-NeRF: High Dynamic Range Neural Radiance Fields [70.80920996881113]
我々は、低ダイナミックレンジ(LDR)ビューの集合からHDR放射界を異なる露光で復元するために、高ダイナミックレンジニューラルレイディアンス場(-NeRF)を提案する。
異なる露出下で、新しいHDRビューと新しいLDRビューの両方を生成することができる。
論文 参考訳(メタデータ) (2021-11-29T11:06:39Z) - Beyond Visual Attractiveness: Physically Plausible Single Image HDR
Reconstruction for Spherical Panoramas [60.24132321381606]
我々は,単発hdr再構成フレームワークに物理的照度制約を導入する。
本手法は,視覚に訴えるだけでなく,物理的に妥当なHDRを生成することができる。
論文 参考訳(メタデータ) (2021-03-24T01:51:19Z) - Deep Lighting Environment Map Estimation from Spherical Panoramas [0.0]
本稿では,単一のLDR単分子球状パノラマからHDR照明環境マップを推定するデータ駆動モデルを提案する。
データジェネレータと監視機構として画像ベースのリライティングを活用するために,表面形状の可用性を活用する。
論文 参考訳(メタデータ) (2020-05-16T14:23:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。