論文の概要: RAW-Adapter: Adapting Pre-trained Visual Model to Camera RAW Images

• arxiv url: http://arxiv.org/abs/2408.14802v1
• Date: Tue, 27 Aug 2024 06:14:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 14:54:56.755531
• Title: RAW-Adapter: Adapting Pre-trained Visual Model to Camera RAW Images
• Title（参考訳）: RAW-Adapter:カメラRAW画像への事前学習型視覚モデルの適用
• Authors: Ziteng Cui, Tatsuya Harada,
• Abstract要約: 本稿では,カメラRAWデータへのsRGB事前学習モデルの適用を目的とした新しいアプローチであるRAW-Adapterを紹介する。 Raw-Adapterは、学習可能なISPステージを使用してRAW入力を調整する入力レベルアダプタと、ISPステージとその後の高レベルネットワーク間の接続を構築するモデルレベルアダプタで構成されている。
• 参考スコア（独自算出の注目度）: 51.68432586065828
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: sRGB images are now the predominant choice for pre-training visual models in computer vision research, owing to their ease of acquisition and efficient storage. Meanwhile, the advantage of RAW images lies in their rich physical information under variable real-world challenging lighting conditions. For computer vision tasks directly based on camera RAW data, most existing studies adopt methods of integrating image signal processor (ISP) with backend networks, yet often overlook the interaction capabilities between the ISP stages and subsequent networks. Drawing inspiration from ongoing adapter research in NLP and CV areas, we introduce RAW-Adapter, a novel approach aimed at adapting sRGB pre-trained models to camera RAW data. RAW-Adapter comprises input-level adapters that employ learnable ISP stages to adjust RAW inputs, as well as model-level adapters to build connections between ISP stages and subsequent high-level networks. Additionally, RAW-Adapter is a general framework that could be used in various computer vision frameworks. Abundant experiments under different lighting conditions have shown our algorithm's state-of-the-art (SOTA) performance, demonstrating its effectiveness and efficiency across a range of real-world and synthetic datasets.
• Abstract（参考訳）: sRGBイメージは、コンピュータビジョン研究において、取得の容易さと効率的なストレージのために、事前訓練された視覚モデルの主要な選択肢となっている。 一方、RAW画像の利点は、様々な現実世界の難解な照明条件下でのリッチな物理情報にある。 カメラRAWデータを直接ベースとしたコンピュータビジョンタスクでは、既存の研究の多くは、画像信号プロセッサ(ISP)をバックエンドネットワークに統合する手法を採用しているが、ISPステージとその後のネットワーク間のインタラクション能力を見落としていることが多い。 NLPおよびCV領域のアダプタ研究から着想を得たRAW-Adapterは,カメラRAWデータへのsRGB事前学習モデルの適用を目的とした新しいアプローチである。 RAW-Adapterは、学習可能なISPステージを使用してRAW入力を調整する入力レベルアダプタと、ISPステージとその後の高レベルネットワーク間の接続を構築するモデルレベルアダプタで構成されている。 加えて、RAW-Adapterは様々なコンピュータビジョンフレームワークで使用できる一般的なフレームワークである。 異なる照明条件下での冗長な実験により、我々のアルゴリズムの最先端(SOTA)性能が示され、実世界のデータセットと合成データセットにまたがってその有効性と効率が示された。

関連論文リスト

• A Learnable Color Correction Matrix for RAW Reconstruction [19.394856071610604]
  複雑な逆画像信号処理装置(ISP)を近似する学習可能な色補正行列(CCM)を導入する。 実験結果から,本手法で生成したRAW(simRAW)画像は,より複雑な逆ISP法で生成した画像と同等の性能向上が得られた。
  論文  参考訳（メタデータ） (2024-09-04T07:46:42Z)
• Simple Image Signal Processing using Global Context Guidance [56.41827271721955]
  ディープラーニングベースのISPは、深層ニューラルネットワークを使用してRAW画像をDSLRライクなRGBイメージに変換することを目指している。 我々は,全RAW画像からグローバルなコンテキスト情報をキャプチャするために,任意のニューラルISPに統合可能な新しいモジュールを提案する。 本モデルでは,多種多様な実スマートフォン画像を用いて,様々なベンチマークで最新の結果が得られる。
  論文  参考訳（メタデータ） (2024-04-17T17:11:47Z)
• Rawformer: Unpaired Raw-to-Raw Translation for Learnable Camera ISPs [53.68932498994655]
  本稿では,多種多様なカメラを用いた生と生の翻訳の未ペアリング学習手法を提案する。 特定のカメラが捉えた生画像をターゲットカメラに正確にマッピングし、学習可能なISPを新しい目に見えないカメラに一般化する。 提案手法は,従来の最先端技術と比較して精度が高く,実際のカメラデータセットに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-16T16:17:48Z)
• Efficient Visual Computing with Camera RAW Snapshots [41.9863557302409]
  従来のカメラはセンサ上の画像光を捕捉し、画像信号プロセッサ(ISP)を用いてRGB画像に変換する。 RAW画像にはキャプチャされた全ての情報が含まれているため、ISPを用いたRAWからRGBへの変換はビジュアルコンピューティングには必要ないと論じることができる。 RAW画像を用いた高レベルセマンティック理解と低レベル圧縮を実現するための新しい$rho$-Visionフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-15T12:54:21Z)
• Reversed Image Signal Processing and RAW Reconstruction. AIM 2022 Challenge Report [109.2135194765743]
  本稿では,AIM 2022 Challenge on Reversed Image Signal Processing and RAW Reconstructionを紹介する。 我々は,メタデータを使わずにRGBから生のセンサイメージを回収し,ISP変換を「逆」することを目的としている。
  論文  参考訳（メタデータ） (2022-10-20T10:43:53Z)
• Enabling ISP-less Low-Power Computer Vision [4.102254385058941]
  汎用的な高レベル視覚タスクのための大規模ベンチマークの生版をリリースする。 ISPなしのCVシステムでは、生画像のトレーニングにより、テスト精度が7.1%向上する。 そこで本研究では,画素内CNN計算と組み合わせた,エネルギー効率のよいアナログインピクセル復号法を提案する。
  論文  参考訳（メタデータ） (2022-10-11T13:47:30Z)
• Transform your Smartphone into a DSLR Camera: Learning the ISP in the Wild [159.71025525493354]
  本稿では,スマートフォンが取得したRAW画像に基づいて,DSLRの品質画像を生成する訓練可能な画像信号処理フレームワークを提案する。 トレーニング画像ペア間の色ずれに対処するために、カラー条件ISPネットワークを使用し、各入力RAWと基準DSLR画像間の新しいパラメトリック色マッピングを最適化する。
  論文  参考訳（メタデータ） (2022-03-20T20:13:59Z)
• Model-Based Image Signal Processors via Learnable Dictionaries [6.766416093990318]
  デジタルカメラは画像信号処理装置(ISP)を用いてRAW読み出しをRGB画像に変換する 近年のアプローチでは、RGBからRAWマッピングを推定することで、このギャップを埋めようとしている。 本稿では,学習可能かつ解釈可能なハイブリッド・モデルベースかつデータ駆動型ISPを提案する。
  論文  参考訳（メタデータ） (2022-01-10T08:36:10Z)
• Towards Low Light Enhancement with RAW Images [101.35754364753409]
  我々は、低光強度でRAW画像を使用することの優位性について、最初のベンチマークを行う。 本研究では,RAW画像の特性を計測可能な因子に分解するFEM(Facterized Enhancement Model)を新たに開発した。 実アプリケーションにおけるRAW画像の利点と利用不可のトレードオフを生かしたREENet(RAW-guiding Exposure Enhancement Network)を開発した。
  論文  参考訳（メタデータ） (2021-12-28T07:27:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。