論文の概要: RDDM: Practicing RAW Domain Diffusion Model for Real-world Image Restoration
- arxiv url: http://arxiv.org/abs/2508.19154v1
- Date: Tue, 26 Aug 2025 16:06:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-27 17:42:38.909141
- Title: RDDM: Practicing RAW Domain Diffusion Model for Real-world Image Restoration
- Title(参考訳): RDDM:実世界の画像復元のためのRAWドメイン拡散モデルの実践
- Authors: Yan Chen, Yi Wen, Wei Li, Junchao Liu, Yong Guo, Jie Hu, Xinghao Chen,
- Abstract要約: 本稿では,センサRAWデータから直接フォトリアリスティック画像を復元するエンド・ツー・エンド拡散モデルを提案する。
大規模トレーニングのために既存の sRGB データセットから拡張性のある分解パイプライン RAW LQ-HQ ペアを開発した。
- 参考スコア(独自算出の注目度): 27.387521556174104
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present the RAW domain diffusion model (RDDM), an end-to-end diffusion model that restores photo-realistic images directly from the sensor RAW data. While recent sRGB-domain diffusion methods achieve impressive results, they are caught in a dilemma between high fidelity and realistic generation. As these models process lossy sRGB inputs and neglect the accessibility of the sensor RAW images in many scenarios, e.g., in image and video capturing in edge devices, resulting in sub-optimal performance. RDDM bypasses this limitation by directly restoring images in the RAW domain, replacing the conventional two-stage image signal processing (ISP) + IR pipeline. However, a simple adaptation of pre-trained diffusion models to the RAW domain confronts the out-of-distribution (OOD) issues. To this end, we propose: (1) a RAW-domain VAE (RVAE) learning optimal latent representations, (2) a differentiable Post Tone Processing (PTP) module enabling joint RAW and sRGB space optimization. To compensate for the deficiency in the dataset, we develop a scalable degradation pipeline synthesizing RAW LQ-HQ pairs from existing sRGB datasets for large-scale training. Furthermore, we devise a configurable multi-bayer (CMB) LoRA module handling diverse RAW patterns such as RGGB, BGGR, etc. Extensive experiments demonstrate RDDM's superiority over state-of-the-art sRGB diffusion methods, yielding higher fidelity results with fewer artifacts.
- Abstract(参考訳): RAW領域拡散モデル(RDDM)は,センサRAWデータから直接フォトリアリスティック画像を復元するエンド・ツー・エンド拡散モデルである。
最近のsRGBドメイン拡散法は印象的な結果をもたらすが、それらは高忠実度と現実的な生成のジレンマに巻き込まれる。
これらのモデルが損失の少ないsRGB入力を処理し、センサRAW画像のアクセシビリティを無視する。
RDDMはこの制限を回避し、RAWドメインのイメージを直接復元し、従来の2段階画像信号処理(ISP) + IRパイプラインを置き換える。
しかし、RAW領域への事前学習拡散モデルの簡単な適応は、アウト・オブ・ディストリビューション(OOD)問題に直面する。
この目的のために,(1)最適潜伏表現を学習するRAWドメインVAE(RVAE),(2)共同RAWおよびsRGB空間最適化を可能にする差別化可能なポストトーン処理(PTP)モジュールを提案する。
データセットの不足を補うために、大規模トレーニングのために既存のsRGBデータセットからRAW LQ-HQペアを合成するスケーラブルな分解パイプラインを開発する。
さらに,RGGBやBGGRなど,さまざまなRAWパターンを扱う構成可能なマルチバイヤー (CMB) LoRA モジュールを考案する。
RDDMが最先端のsRGB拡散法よりも優れていることを示し、より少ないアーティファクトで高い忠実性が得られる。
関連論文リスト
- RAW-Diffusion: RGB-Guided Diffusion Models for High-Fidelity RAW Image Generation [4.625376287612609]
RGB画像でガイドされたRAW画像を生成するための新しい拡散法を提案する。
このアプローチは高忠実度RAW画像を生成し、カメラ固有のRAWデータセットの作成を可能にする。
提案手法を拡張してBDD100K-RAWとCityscapes-RAWデータセットを作成し,RAW画像におけるオブジェクト検出の有効性を明らかにする。
論文 参考訳(メタデータ) (2024-11-20T09:40:12Z) - Unveiling Hidden Details: A RAW Data-Enhanced Paradigm for Real-World Super-Resolution [56.98910228239627]
リアル・ワールド・イメージ・スーパーレゾリューション(Real SR)は、低解像度(LR)画像から高忠実でディテールに富んだ高解像度(HR)画像を生成することを目的としている。
既存のReal SRメソッドは主にLR RGBドメインから詳細を生成することに重点を置いており、しばしば細部における豊かさや忠実さの欠如につながっている。
RAWデータに隠された詳細を用いて既存のRGBのみの手法を補完し、優れた出力を得る。
論文 参考訳(メタデータ) (2024-11-16T13:29:50Z) - Retinex-RAWMamba: Bridging Demosaicing and Denoising for Low-Light RAW Image Enhancement [71.13353154514418]
低照度画像の強化、特に生ドメインからsRGBドメインへのマッピングのようなクロスドメインタスクは、依然として大きな課題である。
RAWMambaと呼ばれる低照度RAW画像用にカスタマイズされた新しいMambaベースの手法を提案する。
低照度RAW画像の高精細化を図り、復調を施すことにより、高精細化を実現する。
論文 参考訳(メタデータ) (2024-09-11T06:12:03Z) - A Learnable Color Correction Matrix for RAW Reconstruction [19.394856071610604]
複雑な逆画像信号処理装置(ISP)を近似する学習可能な色補正行列(CCM)を導入する。
実験結果から,本手法で生成したRAW(simRAW)画像は,より複雑な逆ISP法で生成した画像と同等の性能向上が得られた。
論文 参考訳(メタデータ) (2024-09-04T07:46:42Z) - BSRAW: Improving Blind RAW Image Super-Resolution [63.408484584265985]
RAW領域におけるブラインド画像の超解像化に取り組む。
生センサデータを用いたトレーニングモデルに特化した,現実的な劣化パイプラインを設計する。
私たちのパイプラインでトレーニングしたBSRAWモデルは、リアルタイムRAW画像をスケールアップし、品質を向上させることができます。
論文 参考訳(メタデータ) (2023-12-24T14:17:28Z) - Image Demoireing in RAW and sRGB Domains [18.921026683632146]
我々は、Gated Feedback Module (GFM) と Frequency Selection Module (FSM) を備えたスキップ接続型復号モジュール(SCDM)を開発した。
我々はRGB Guided ISP(RGISP)を設計し、デバイス依存のISPを学習し、色回復のプロセスを支援する。
我々のRRIDは、PSNRでは0.62dB、SSIMでは0.003のモアレパターン除去とカラーキャスト補正の性能において、最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2023-12-14T16:00:28Z) - Towards Low Light Enhancement with RAW Images [101.35754364753409]
我々は、低光強度でRAW画像を使用することの優位性について、最初のベンチマークを行う。
本研究では,RAW画像の特性を計測可能な因子に分解するFEM(Facterized Enhancement Model)を新たに開発した。
実アプリケーションにおけるRAW画像の利点と利用不可のトレードオフを生かしたREENet(RAW-guiding Exposure Enhancement Network)を開発した。
論文 参考訳(メタデータ) (2021-12-28T07:27:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。