論文の概要: RAW-Adapter: Adapting Pre-trained Visual Model to Camera RAW Images and A Benchmark

• arxiv url: http://arxiv.org/abs/2503.17027v1
• Date: Fri, 21 Mar 2025 10:37:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:56:43.891787
• Title: RAW-Adapter: Adapting Pre-trained Visual Model to Camera RAW Images and A Benchmark
• Title（参考訳）: RAW-Adapter:カメラRAW画像への事前学習ビジュアルモデルの適用とベンチマーク
• Authors: Ziteng Cui, Jianfei Yang, Tatsuya Harada,
• Abstract要約: RAW-Adapterは、学習可能なISPモジュールを入力レベルのアダプタとして組み込んでRAW入力を調整する新しいフレームワークである。 RAW-Adapterは様々なコンピュータビジョンフレームワークに適用可能な一般的なフレームワークとして機能する。 RAW-Benchには17種類のRAWベースの共通汚職が組み込まれている。
• 参考スコア（独自算出の注目度）: 58.47710845549269
• License:
• Abstract: In the computer vision community, the preference for pre-training visual models has largely shifted toward sRGB images due to their ease of acquisition and compact storage. However, camera RAW images preserve abundant physical details across diverse real-world scenarios. Despite this, most existing visual perception methods that utilize RAW data directly integrate image signal processing (ISP) stages with subsequent network modules, often overlooking potential synergies at the model level. Building on recent advances in adapter-based methodologies in both NLP and computer vision, we propose RAW-Adapter, a novel framework that incorporates learnable ISP modules as input-level adapters to adjust RAW inputs. At the same time, it employs model-level adapters to seamlessly bridge ISP processing with high-level downstream architectures. Moreover, RAW-Adapter serves as a general framework applicable to various computer vision frameworks. Furthermore, we introduce RAW-Bench, which incorporates 17 types of RAW-based common corruptions, including lightness degradations, weather effects, blurriness, camera imaging degradations, and variations in camera color response. Using this benchmark, we systematically compare the performance of RAW-Adapter with state-of-the-art (SOTA) ISP methods and other RAW-based high-level vision algorithms. Additionally, we propose a RAW-based data augmentation strategy to further enhance RAW-Adapter's performance and improve its out-of-domain (OOD) generalization ability. Extensive experiments substantiate the effectiveness and efficiency of RAW-Adapter, highlighting its robust performance across diverse scenarios.
• Abstract（参考訳）: コンピュータビジョンのコミュニティでは、取得やコンパクトストレージの容易さから、事前学習されたビジュアルモデルの好みは、主にsRGBイメージに移行している。 しかし、カメラRAW画像は様々な現実世界のシナリオにまたがって、豊富な物理的詳細を保存している。 これにもかかわらず、RAWデータを利用する既存の視覚認識手法のほとんどは、画像信号処理(ISP)ステージとその後のネットワークモジュールを直接統合しており、しばしばモデルレベルでの潜在的なシナジーを見落としている。 NLPとコンピュータビジョンの両方におけるアダプタベースの手法の最近の進歩に基づき、学習可能なISPモジュールを入力レベルアダプタとして組み込んでRAW入力を調整する新しいフレームワークであるRAW-Adapterを提案する。 同時に、モデルレベルのアダプタを使用して、ISP処理を高レベルのダウンストリームアーキテクチャでシームレスにブリッジする。 さらに、RAW-Adapterは様々なコンピュータビジョンフレームワークに適用可能な一般的なフレームワークとして機能する。 さらに、RAW-Benchは、光度劣化、気象効果、ぼかし、カメラ画像劣化、カメラカラー応答のバリエーションを含む17種類のRAWベースの共通汚職を組み込んだRAW-Benchを紹介する。 このベンチマークを用いて、RAW-Adapterの性能と最先端(SOTA)ISP法および他のRAWベースの高レベルビジョンアルゴリズムとを系統的に比較する。 さらに、RAW-Adapterの性能をさらに向上し、OOD(out-of- domain)の一般化能力を向上させるためのRAWベースのデータ拡張戦略を提案する。 大規模な実験はRAW-Adapterの有効性と効率を実証し、さまざまなシナリオにおける堅牢なパフォーマンスを強調している。

関連論文リスト

• A Learnable Color Correction Matrix for RAW Reconstruction [19.394856071610604]
  複雑な逆画像信号処理装置(ISP)を近似する学習可能な色補正行列(CCM)を導入する。 実験結果から,本手法で生成したRAW(simRAW)画像は,より複雑な逆ISP法で生成した画像と同等の性能向上が得られた。
  論文  参考訳（メタデータ） (2024-09-04T07:46:42Z)
• RAW-Adapter: Adapting Pre-trained Visual Model to Camera RAW Images [51.68432586065828]
  本稿では,カメラRAWデータへのsRGB事前学習モデルの適用を目的とした新しいアプローチであるRAW-Adapterを紹介する。 Raw-Adapterは、学習可能なISPステージを使用してRAW入力を調整する入力レベルアダプタと、ISPステージとその後の高レベルネットワーク間の接続を構築するモデルレベルアダプタで構成されている。
  論文  参考訳（メタデータ） (2024-08-27T06:14:54Z)
• Rawformer: Unpaired Raw-to-Raw Translation for Learnable Camera ISPs [53.68932498994655]
  本稿では,多種多様なカメラを用いた生と生の翻訳の未ペアリング学習手法を提案する。 特定のカメラが捉えた生画像をターゲットカメラに正確にマッピングし、学習可能なISPを新しい目に見えないカメラに一般化する。 提案手法は,従来の最先端技術と比較して精度が高く,実際のカメラデータセットに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-16T16:17:48Z)
• Efficient Visual Computing with Camera RAW Snapshots [41.9863557302409]
  従来のカメラはセンサ上の画像光を捕捉し、画像信号プロセッサ(ISP)を用いてRGB画像に変換する。 RAW画像にはキャプチャされた全ての情報が含まれているため、ISPを用いたRAWからRGBへの変換はビジュアルコンピューティングには必要ないと論じることができる。 RAW画像を用いた高レベルセマンティック理解と低レベル圧縮を実現するための新しい$rho$-Visionフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-15T12:54:21Z)
• Reversed Image Signal Processing and RAW Reconstruction. AIM 2022 Challenge Report [109.2135194765743]
  本稿では,AIM 2022 Challenge on Reversed Image Signal Processing and RAW Reconstructionを紹介する。 我々は,メタデータを使わずにRGBから生のセンサイメージを回収し,ISP変換を「逆」することを目的としている。
  論文  参考訳（メタデータ） (2022-10-20T10:43:53Z)
• Transform your Smartphone into a DSLR Camera: Learning the ISP in the Wild [159.71025525493354]
  本稿では,スマートフォンが取得したRAW画像に基づいて,DSLRの品質画像を生成する訓練可能な画像信号処理フレームワークを提案する。 トレーニング画像ペア間の色ずれに対処するために、カラー条件ISPネットワークを使用し、各入力RAWと基準DSLR画像間の新しいパラメトリック色マッピングを最適化する。
  論文  参考訳（メタデータ） (2022-03-20T20:13:59Z)
• Towards Low Light Enhancement with RAW Images [101.35754364753409]
  我々は、低光強度でRAW画像を使用することの優位性について、最初のベンチマークを行う。 本研究では,RAW画像の特性を計測可能な因子に分解するFEM(Facterized Enhancement Model)を新たに開発した。 実アプリケーションにおけるRAW画像の利点と利用不可のトレードオフを生かしたREENet(RAW-guiding Exposure Enhancement Network)を開発した。
  論文  参考訳（メタデータ） (2021-12-28T07:27:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。