論文の概要: RawGen: Learning Camera Raw Image Generation
- arxiv url: http://arxiv.org/abs/2604.00093v1
- Date: Tue, 31 Mar 2026 18:12:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-02 16:44:31.674837
- Title: RawGen: Learning Camera Raw Image Generation
- Title(参考訳): RawGen: カメラの生画像生成を学習する
- Authors: Dongyoung Kim, Junyong Lee, Abhijith Punnappurath, Mahmoud Afifi, Sangmin Han, Alex Levinshtein, Michael S. Brown,
- Abstract要約: RawGenは、任意のターゲットカメラに対してテキスト・ツー・ロー生成を可能にする最初の拡散ベースのフレームワークである。
我々は多対一の逆ISPデータセットを構築し、多様なISPパラメータを用いて生成された同一シーンの複数のsRGBリフレクションを、共通のシーン参照ターゲットに固定する。
固定ISPを仮定する従来の逆ISP手法よりもRawGenの方が優れた性能を示す。
- 参考スコア(独自算出の注目度): 30.54177507076165
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Cameras capture scene-referred linear raw images, which are processed by onboard image signal processors (ISPs) into display-referred 8-bit sRGB outputs. Although raw data is more faithful for low-level vision tasks, collecting large-scale raw datasets remains a major bottleneck, as existing datasets are limited and tied to specific camera hardware. Generative models offer a promising way to address this scarcity -- however, existing diffusion frameworks are designed to synthesize photo-finished sRGB images rather than physically consistent linear representations. This paper presents RawGen, to our knowledge the first diffusion-based framework enabling text-to-raw generation for arbitrary target cameras, alongside sRGB-to-raw inversion. RawGen leverages the generative priors of large-scale sRGB diffusion models to synthesize physically meaningful linear outputs, such as CIE XYZ or camera-specific raw representations, via specialized processing in latent and pixel spaces. To handle unknown and diverse ISP pipelines and photo-finishing effects in diffusion-model training data, we build a many-to-one inverse-ISP dataset where multiple sRGB renditions of the same scene generated using diverse ISP parameters are anchored to a common scene-referred target. Fine-tuning a conditional denoiser and specialized decoder on this dataset allows RawGen to obtain camera-centric linear reconstructions that effectively invert the rendering pipeline. We demonstrate RawGen's superior performance over traditional inverse-ISP methods that assume a fixed ISP. Furthermore, we show that augmenting training pipelines with RawGen's scalable, text-driven synthetic data can benefit downstream low-level vision tasks.
- Abstract(参考訳): カメラは、画像信号プロセッサ(ISP)によって処理されるシーン参照の線形生画像を、ディスプレイ参照8ビットのsRGB出力にキャプチャする。
生データは低レベルのビジョンタスクに忠実だが、既存のデータセットが制限され、特定のカメラハードウェアに接続されているため、大規模な生データセットの収集は依然として大きなボトルネックとなっている。
しかし、既存の拡散フレームワークは、物理的に一貫した線形表現ではなく、フォトフィニッシュされたsRGB画像を合成するように設計されている。
本稿では、RawGenについて、SRGB-to-rawインバージョンとともに、任意のターゲットカメラに対してテキスト・ツー・ロー生成を可能にする最初の拡散ベースのフレームワークについて述べる。
RawGen は大規模 sRGB 拡散モデルの生成先を生かし、CIE XYZ やカメラ固有の生の表現のような物理的に意味のある線形出力を、潜時空間とピクセル空間の特殊処理によって合成する。
拡散モデルトレーニングデータにおける未知かつ多様なISPパイプラインとフォトフィニッシュ効果を扱うために、多対一の逆ISPデータセットを構築し、多様なISPパラメータを用いて生成された同一シーンの複数のsRGBリフレクションを共通のシーン参照ターゲットに固定する。
このデータセット上で条件付きデノイザと特別なデコーダを微調整することで、RawGenは、レンダリングパイプラインを効果的に反転させるカメラ中心の線形再構成を得ることができる。
固定ISPを仮定する従来の逆ISP手法よりもRawGenの方が優れた性能を示す。
さらに,RawGenのスケーラブルでテキスト駆動型合成データによるトレーニングパイプラインの拡張は,下流の低レベル視覚タスクに有効であることを示す。
関連論文リスト
- Dark-ISP: Enhancing RAW Image Processing for Low-Light Object Detection [22.292648672901066]
低照度オブジェクト検出は、多くの現実世界のアプリケーションにとって重要であるが、画質が劣化しているため、依然として困難である。
そこで我々は,暗黒環境下で直接Baier RAW画像を処理できる,軽量で自己適応的な画像信号処理(ISP)プラグインであるDark-ISPを提案する。
提案手法は最先端のRGBおよびRAWに基づく検出手法より優れており、低照度環境への挑戦において最小限のパラメータで優れた結果が得られる。
論文 参考訳(メタデータ) (2025-09-11T06:44:43Z) - RAW-Adapter: Adapting Pre-trained Visual Model to Camera RAW Images and A Benchmark [58.47710845549269]
RAW-Adapterは、学習可能なISPモジュールを入力レベルのアダプタとして組み込んでRAW入力を調整する新しいフレームワークである。
RAW-Adapterは様々なコンピュータビジョンフレームワークに適用可能な一般的なフレームワークとして機能する。
RAW-Benchには17種類のRAWベースの共通汚職が組み込まれている。
論文 参考訳(メタデータ) (2025-03-21T10:37:42Z) - Beyond RGB: Adaptive Parallel Processing for RAW Object Detection [5.36869872375791]
Raw Adaptation Module (RAM)は、従来の画像信号処理(ISP)を置き換えるために設計されたモジュールである。
提案手法はRGBに基づく手法より優れており,様々なRAW画像データセットにまたがって最先端の結果が得られる。
論文 参考訳(メタデータ) (2025-03-17T13:36:49Z) - A Learnable Color Correction Matrix for RAW Reconstruction [19.394856071610604]
複雑な逆画像信号処理装置(ISP)を近似する学習可能な色補正行列(CCM)を導入する。
実験結果から,本手法で生成したRAW(simRAW)画像は,より複雑な逆ISP法で生成した画像と同等の性能向上が得られた。
論文 参考訳(メタデータ) (2024-09-04T07:46:42Z) - RAW-Adapter: Adapting Pre-trained Visual Model to Camera RAW Images [51.68432586065828]
本稿では,カメラRAWデータへのsRGB事前学習モデルの適用を目的とした新しいアプローチであるRAW-Adapterを紹介する。
Raw-Adapterは、学習可能なISPステージを使用してRAW入力を調整する入力レベルアダプタと、ISPステージとその後の高レベルネットワーク間の接続を構築するモデルレベルアダプタで構成されている。
論文 参考訳(メタデータ) (2024-08-27T06:14:54Z) - Rawformer: Unpaired Raw-to-Raw Translation for Learnable Camera ISPs [53.68932498994655]
本稿では,多種多様なカメラを用いた生と生の翻訳の未ペアリング学習手法を提案する。
特定のカメラが捉えた生画像をターゲットカメラに正確にマッピングし、学習可能なISPを新しい目に見えないカメラに一般化する。
提案手法は,従来の最先端技術と比較して精度が高く,実際のカメラデータセットに優れた性能を示す。
論文 参考訳(メタデータ) (2024-04-16T16:17:48Z) - Raw Image Reconstruction with Learned Compact Metadata [61.62454853089346]
本稿では,メタデータとしての潜在空間におけるコンパクトな表現をエンドツーエンドで学習するための新しいフレームワークを提案する。
提案する生画像圧縮方式は,グローバルな視点から重要な画像領域に適応的により多くのビットを割り当てることができることを示す。
論文 参考訳(メタデータ) (2023-02-25T05:29:45Z) - Reversed Image Signal Processing and RAW Reconstruction. AIM 2022
Challenge Report [109.2135194765743]
本稿では,AIM 2022 Challenge on Reversed Image Signal Processing and RAW Reconstructionを紹介する。
我々は,メタデータを使わずにRGBから生のセンサイメージを回収し,ISP変換を「逆」することを目的としている。
論文 参考訳(メタデータ) (2022-10-20T10:43:53Z) - Model-Based Image Signal Processors via Learnable Dictionaries [6.766416093990318]
デジタルカメラは画像信号処理装置(ISP)を用いてRAW読み出しをRGB画像に変換する
近年のアプローチでは、RGBからRAWマッピングを推定することで、このギャップを埋めようとしている。
本稿では,学習可能かつ解釈可能なハイブリッド・モデルベースかつデータ駆動型ISPを提案する。
論文 参考訳(メタデータ) (2022-01-10T08:36:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。