論文の概要: DiffusionLight: Light Probes for Free by Painting a Chrome Ball

• arxiv url: http://arxiv.org/abs/2312.09168v3
• Date: Tue, 9 Apr 2024 15:47:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 19:47:12.955990
• Title: DiffusionLight: Light Probes for Free by Painting a Chrome Ball
• Title（参考訳）: DiffusionLight:Chromeのボールにペンキを塗って無料の光プローブ
• Authors: Pakkapon Phongthawee, Worameth Chinchuthakun, Nontaphat Sinsunthithet, Amit Raj, Varun Jampani, Pramook Khungurn, Supasorn Suwajanakorn,
• Abstract要約: 現在の技術は、HDRパノラマデータセットに大きく依存して、ニューラルネットワークをトレーニングし、視野の限られた入力をフル環境マップに回帰する。 我々は、数十億の標準画像に基づいて訓練された拡散モデルを利用して、クロム球を入力画像に描画する。 提案手法は,様々な設定にまたがる説得力のある光推定を行い,現場シナリオに対する優れた一般化を実証する。
• 参考スコア（独自算出の注目度）: 33.3533919709863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a simple yet effective technique to estimate lighting in a single input image. Current techniques rely heavily on HDR panorama datasets to train neural networks to regress an input with limited field-of-view to a full environment map. However, these approaches often struggle with real-world, uncontrolled settings due to the limited diversity and size of their datasets. To address this problem, we leverage diffusion models trained on billions of standard images to render a chrome ball into the input image. Despite its simplicity, this task remains challenging: the diffusion models often insert incorrect or inconsistent objects and cannot readily generate images in HDR format. Our research uncovers a surprising relationship between the appearance of chrome balls and the initial diffusion noise map, which we utilize to consistently generate high-quality chrome balls. We further fine-tune an LDR diffusion model (Stable Diffusion XL) with LoRA, enabling it to perform exposure bracketing for HDR light estimation. Our method produces convincing light estimates across diverse settings and demonstrates superior generalization to in-the-wild scenarios.
• Abstract（参考訳）: 単一入力画像中の光を推定する簡単な手法を提案する。 現在の技術は、HDRパノラマデータセットに大きく依存して、ニューラルネットワークをトレーニングし、視野の限られた入力をフル環境マップに回帰する。 しかしながら、これらのアプローチはデータセットの多様性とサイズに制限があるため、現実的な、制御されていない設定に苦しむことが多い。 この問題に対処するために、数十億の標準画像に基づいて訓練された拡散モデルを用いて、クロム球を入力画像に描画する。 拡散モデルは、しばしば不正確または矛盾したオブジェクトを挿入し、容易にHDR形式で画像を生成することができない。 我々の研究は、クロムボールの出現と初期拡散ノイズマップとの驚くべき関係を解明し、高品質なクロムボールの連続生成に利用した。 さらに、LDR拡散モデル(Stable Diffusion XL)をLoRAで微調整し、HDR光推定のための露光ブラケットを行う。 提案手法は,様々な設定にまたがる説得力のある光推定を行い,現場シナリオに対する優れた一般化を実証する。

関連論文リスト

• Diffusion-Promoted HDR Video Reconstruction [45.73396977607666]
  高ダイナミックレンジ(LDR)ビデオ再構成は、低ダイナミックレンジ(LDR)フレームから交互に露出したHDRビデオを生成することを目的としている。 既存の作品の多くは回帰に基づくパラダイムにのみ依存しており、ゴーストのアーティファクトや飽和した地域での詳細の欠如といった悪影響につながっている。 本稿では,HDR-V-Diffと呼ばれるHDR映像再構成のための拡散促進手法を提案する。
  論文  参考訳（メタデータ） (2024-06-12T13:38:10Z)
• Exposure Diffusion: HDR Image Generation by Consistent LDR denoising [29.45922922270381]
  我々は、伝統的に「ブラケット」と呼ばれるLDR画像の集合を融合させ、単一のHDR画像を生成するHDR画像キャプチャー文献からインスピレーションを得る。 有効なHDR結果を生成する複数のLDRブラケットを生成するために,複数の復調処理を運用する。
  論文  参考訳（メタデータ） (2024-05-23T08:24:22Z)
• LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion Models [54.93010869546011]
  本稿では,事前学習した潜伏拡散モデルを用いて,超低照度画像の高精細化のためのニューラルISPを実現することを提案する。 具体的には、RAWドメイン上で動作するために事前訓練された潜在拡散モデルを調整するために、軽量なテーミングモジュールのセットをトレーニングする。 遅延拡散モデルにおけるUNet復調と復号化の異なる役割を観察し、低照度画像強調タスクを遅延空間低周波コンテンツ生成と復号位相高周波ディテール保守に分解するきっかけとなる。
  論文  参考訳（メタデータ） (2023-12-02T04:31:51Z)
• Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
  我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。 提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。 現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
  論文  参考訳（メタデータ） (2023-09-15T14:19:36Z)
• Deceptive-NeRF/3DGS: Diffusion-Generated Pseudo-Observations for High-Quality Sparse-View Reconstruction [60.52716381465063]
  我々は,限られた入力画像のみを用いて,スパースビュー再構成を改善するために,Deceptive-NeRF/3DGSを導入した。 具体的には,少数視点再構成によるノイズ画像から高品質な擬似観測へ変換する,偽拡散モデルを提案する。 本システムでは,拡散生成擬似観測をトレーニング画像集合に徐々に組み込んで,スパース入力観測を5倍から10倍に高めている。
  論文  参考訳（メタデータ） (2023-05-24T14:00:32Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• GlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild [74.52723408793648]
  そこで本研究では,HDR画像の生成モデルを構築するための第1の手法について述べる。 鍵となる考え方は、GAN(Generative Adversarial Network)を訓練して、様々な露光下でLDRに投影された場合、実際のLDR画像と区別できないHDR画像を生成することである。 実験の結果,GlowGANはランドスケープ,雷,窓など多くの難題において,光現実的HDR画像を合成できることがわかった。
  論文  参考訳（メタデータ） (2022-11-22T15:42:08Z)
• HDR-NeRF: High Dynamic Range Neural Radiance Fields [70.80920996881113]
  我々は、低ダイナミックレンジ(LDR)ビューの集合からHDR放射界を異なる露光で復元するために、高ダイナミックレンジニューラルレイディアンス場(-NeRF)を提案する。 異なる露出下で、新しいHDRビューと新しいLDRビューの両方を生成することができる。
  論文  参考訳（メタデータ） (2021-11-29T11:06:39Z)
• Deep Lighting Environment Map Estimation from Spherical Panoramas [0.0]
  本稿では,単一のLDR単分子球状パノラマからHDR照明環境マップを推定するデータ駆動モデルを提案する。 データジェネレータと監視機構として画像ベースのリライティングを活用するために,表面形状の可用性を活用する。
  論文  参考訳（メタデータ） (2020-05-16T14:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。