論文の概要: DiffuseRAW: End-to-End Generative RAW Image Processing for Low-Light Images

• arxiv url: http://arxiv.org/abs/2402.18575v1
• Date: Wed, 13 Dec 2023 03:39:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 06:49:31.431826
• Title: DiffuseRAW: End-to-End Generative RAW Image Processing for Low-Light Images
• Title（参考訳）: DiffuseRAW:低照度画像のためのエンドツーエンド生成RAW画像処理
• Authors: Rishit Dagli,
• Abstract要約: 我々はRAW画像上の微調整潜伏拡散モデルに依存する新しい生成ISPを開発した。 我々は、有望な結果が得られる人気のエンドツーエンドの低照度データセットに対するアプローチを評価した。
• 参考スコア（独自算出の注目度）: 5.439020425819001
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Imaging under extremely low-light conditions presents a significant challenge and is an ill-posed problem due to the low signal-to-noise ratio (SNR) caused by minimal photon capture. Previously, diffusion models have been used for multiple kinds of generative tasks and image-to-image tasks, however, these models work as a post-processing step. These diffusion models are trained on processed images and learn on processed images. However, such approaches are often not well-suited for extremely low-light tasks. Unlike the task of low-light image enhancement or image-to-image enhancement, we tackle the task of learning the entire image-processing pipeline, from the RAW image to a processed image. For this task, a traditional image processing pipeline often consists of multiple specialized parts that are overly reliant on the downstream tasks. Unlike these, we develop a new generative ISP that relies on fine-tuning latent diffusion models on RAW images and generating processed long-exposure images which allows for the apt use of the priors from large text-to-image generation models. We evaluate our approach on popular end-to-end low-light datasets for which we see promising results and set a new SoTA on the See-in-Dark (SID) dataset. Furthermore, with this work, we hope to pave the way for more generative and diffusion-based image processing and other problems on RAW data.
• Abstract（参考訳）: 極低照度条件下での撮像は重要な課題であり,光子捕獲の最小化による信号対雑音比(SNR)の低下が問題となっている。 これまで、拡散モデルは複数の生成タスクやイメージ・ツー・イメージタスクに用いられてきたが、これらのモデルは後処理のステップとして機能する。 これらの拡散モデルは、処理された画像に基づいて訓練され、処理された画像から学習される。 しかし、このようなアプローチは極端に低照度なタスクには適していないことが多い。 低照度画像強調やイメージ・ツー・イメージ強調のタスクとは異なり、RAW画像から処理画像まで、画像処理パイプライン全体を学ぶタスクに取り組む。 このタスクでは、従来の画像処理パイプラインは、ダウンストリームタスクに過度に依存する複数の特別な部分で構成されていることが多い。 これらとは違って、RAW画像上の微調整潜時拡散モデルと、大規模テキスト・画像生成モデルからの先行画像の適応化を可能にする処理された長時間露光画像を生成する新しい生成ISPを開発する。 我々は、有望な結果が得られ、See-in-Dark(SID)データセットに新しいSoTAを設定する、人気のあるエンドツーエンドの低照度データセットに対するアプローチを評価した。 さらに、本研究により、RAWデータにおける、より生成的で拡散的な画像処理や他の問題への道を開いたいと考えています。

関連論文リスト

• Retinex-RAWMamba: Bridging Demosaicing and Denoising for Low-Light RAW Image Enhancement [71.13353154514418]
  低照度画像の強化、特に生ドメインからsRGBドメインへのマッピングのようなクロスドメインタスクは、依然として大きな課題である。 RAWMambaと呼ばれる新しいMambaスキャニング機構を提案する。 また,Retinex の先行したRetinex Decomposition Module (RDM) も提案する。
  論文  参考訳（メタデータ） (2024-09-11T06:12:03Z)
• Exposure Bracketing is All You Need for Unifying Image Restoration and Enhancement Tasks [50.822601495422916]
  本稿では,露光ブラケット写真を利用して画像復元と拡張作業を統合することを提案する。 実世界のペアの収集が困難であるため,まず合成ペアデータを用いてモデルを事前学習する手法を提案する。 特に,時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
  論文  参考訳（メタデータ） (2024-01-01T14:14:35Z)
• LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion Models [54.93010869546011]
  本稿では,事前学習した潜伏拡散モデルを用いて,超低照度画像の高精細化のためのニューラルISPを実現することを提案する。 具体的には、RAWドメイン上で動作するために事前訓練された潜在拡散モデルを調整するために、軽量なテーミングモジュールのセットをトレーニングする。 遅延拡散モデルにおけるUNet復調と復号化の異なる役割を観察し、低照度画像強調タスクを遅延空間低周波コンテンツ生成と復号位相高周波ディテール保守に分解するきっかけとなる。
  論文  参考訳（メタデータ） (2023-12-02T04:31:51Z)
• Image Inpainting via Tractable Steering of Diffusion Models [54.13818673257381]
  本稿では,トラクタブル確率モデル(TPM)の制約後部を正確に,かつ効率的に計算する能力を活用することを提案する。 具体的には、確率回路(PC)と呼ばれる表現型TPMのクラスを採用する。 提案手法は, 画像の全体的な品質とセマンティックコヒーレンスを, 計算オーバーヘッドを10%加えるだけで一貫的に改善できることを示す。
  論文  参考訳（メタデータ） (2023-11-28T21:14:02Z)
• Denoising Diffusion Post-Processing for Low-Light Image Enhancement [0.0]
  低照度画像強調(LLIE)技術は、低照度シナリオで撮影された画像の可視性を高める。 LLIE技術はノイズやカラーバイアスといった様々な画像劣化を導入している。 後処理のデノイザは広く使われており、細部が不明瞭な結果になることが多い。 低照度後処理拡散モデル(LPDM)を導入し,低露光画像と通常露光画像の条件分布をモデル化する。
  論文  参考訳（メタデータ） (2023-03-16T20:06:55Z)
• Enhancing Low-Light Images in Real World via Cross-Image Disentanglement [58.754943762945864]
  そこで本研究では,現実の汚職とミスアライメントされたトレーニング画像からなる,新しい低照度画像強調データセットを提案する。 本モデルでは,新たに提案したデータセットと,他の一般的な低照度データセットの両方に対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-01-10T03:12:52Z)
• Low-Light Image Enhancement with Normalizing Flow [92.52290821418778]
  本稿では,この一対多の関係を正規化フローモデルを用いてモデル化する。 低照度画像/特徴を条件として取り、通常露光される画像の分布をガウス分布にマッピングすることを学ぶ可逆ネットワーク。 既存のベンチマークデータセットによる実験結果から,提案手法はより定量的,質的な結果を得ることができ,照度が良く,ノイズやアーティファクトが小さく,色も豊かになることがわかった。
  論文  参考訳（メタデータ） (2021-09-13T12:45:08Z)
• Burst Photography for Learning to Enhance Extremely Dark Images [19.85860245798819]
  本稿では,超暗い原画像からよりシャープで高精度なRGB画像を得るため,バースト撮影を活用することを目的とする。 提案するフレームワークのバックボーンは,高品質な出力を段階的に生成する,粗大なネットワークアーキテクチャである。 実験により,本手法は,より詳細で高画質な画像を生成することによって,最先端の手法よりも知覚的により満足な結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-06-17T13:19:07Z)
• Burst Denoising of Dark Images [19.85860245798819]
  超暗い生画像からクリーンでカラフルなRGB画像を得るためのディープラーニングフレームワークを提案する。 我々のフレームワークのバックボーンは、プログレッシブな方法で高品質な出力を生成する新しい粗いネットワークアーキテクチャである。 実験により,提案手法は最先端の手法よりも知覚的により満足な結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-03-17T17:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。