論文の概要: Efficient Visual Computing with Camera RAW Snapshots

• arxiv url: http://arxiv.org/abs/2212.07778v1
• Date: Thu, 15 Dec 2022 12:54:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 17:45:37.565292
• Title: Efficient Visual Computing with Camera RAW Snapshots
• Title（参考訳）: カメラRAWスナップショットを用いた効率的なビジュアルコンピューティング
• Authors: Zhihao Li, Ming Lu, Xu Zhang, Xin Feng, M. Salman Asif, and Zhan Ma
• Abstract要約: 従来のカメラはセンサ上の画像光を捕捉し、画像信号プロセッサ(ISP)を用いてRGB画像に変換する。 RAW画像にはキャプチャされた全ての情報が含まれているため、ISPを用いたRAWからRGBへの変換はビジュアルコンピューティングには必要ないと論じることができる。 RAW画像を用いた高レベルセマンティック理解と低レベル圧縮を実現するための新しい$rho$-Visionフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 36.89717472482939
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Conventional cameras capture image irradiance on a sensor and convert it to RGB images using an image signal processor (ISP). The images can then be used for photography or visual computing tasks in a variety of applications, such as public safety surveillance and autonomous driving. One can argue that since RAW images contain all the captured information, the conversion of RAW to RGB using an ISP is not necessary for visual computing. In this paper, we propose a novel $\rho$-Vision framework to perform high-level semantic understanding and low-level compression using RAW images without the ISP subsystem used for decades. Considering the scarcity of available RAW image datasets, we first develop an unpaired CycleR2R network based on unsupervised CycleGAN to train modular unrolled ISP and inverse ISP (invISP) models using unpaired RAW and RGB images. We can then flexibly generate simulated RAW images (simRAW) using any existing RGB image dataset and finetune different models originally trained for the RGB domain to process real-world camera RAW images. We demonstrate object detection and image compression capabilities in RAW-domain using RAW-domain YOLOv3 and RAW image compressor (RIC) on snapshots from various cameras. Quantitative results reveal that RAW-domain task inference provides better detection accuracy and compression compared to RGB-domain processing. Furthermore, the proposed \r{ho}-Vision generalizes across various camera sensors and different task-specific models. Additional advantages of the proposed $\rho$-Vision that eliminates the ISP are the potential reductions in computations and processing times.
• Abstract（参考訳）: 従来のカメラは、センサ上の画像照射をキャプチャし、画像信号プロセッサ(ISP)を使用してRGB画像に変換する。 画像は、公共の安全監視や自動運転など、さまざまなアプリケーションにおける写真やビジュアルコンピューティングタスクに使用できる。 RAW画像にはキャプチャされた全ての情報が含まれているため、ISPを用いたRAWからRGBへの変換はビジュアルコンピューティングには必要ないと論じることができる。 本稿では,ispサブシステムを用いずに高レベルな意味理解と低レベル圧縮を実現する,新たな$\rho$-visionフレームワークを提案する。 利用可能なRAW画像データセットの不足を考慮し、まず教師なしのCycleGANに基づく非ペア化CycleR2Rネットワークを開発し、非ペア化RAW画像とRGB画像を用いたモジュラー・アンロールISPおよび逆ISP(invISP)モデルをトレーニングする。 次に、既存のRGB画像データセットを使用して、シミュレーションRAW画像(simRAW)を柔軟に生成し、RGBドメインのためにトレーニングされた異なるモデルを用いて実世界のRAW画像を処理する。 本稿では,raw-domain yolov3 と raw image compressor (ric) を用いたraw-domain のオブジェクト検出と画像圧縮機能を示す。 定量的な結果から,RAW領域タスク推論はRGB領域処理よりも検出精度と圧縮性がよいことがわかった。 さらに、提案した \r{ho}-Vision は、様々なカメラセンサーと異なるタスク固有モデルにまたがって一般化される。 ISPを排除する$\rho$-Visionのその他の利点は、計算と処理時間の潜在的な削減である。

関連論文リスト

• Towards RAW Object Detection in Diverse Conditions [65.30190654593842]
  62のカテゴリにまたがる135,601のアノテーション付きインスタンスを備えた7,785の高分解能実RAW画像を提供するAODRawデータセットを紹介した。 sRGB と RAW の領域ギャップにより RAW オブジェクト検出の可能性は sRGB と RAW との事前学習によって制限されることがわかった。 我々は,RAW事前学習を支援するために,SRGBドメインで事前学習した市販のモデルから知識を抽出する。
  論文  参考訳（メタデータ） (2024-11-24T01:23:04Z)
• A Learnable Color Correction Matrix for RAW Reconstruction [19.394856071610604]
  複雑な逆画像信号処理装置(ISP)を近似する学習可能な色補正行列(CCM)を導入する。 実験結果から,本手法で生成したRAW(simRAW)画像は,より複雑な逆ISP法で生成した画像と同等の性能向上が得られた。
  論文  参考訳（メタデータ） (2024-09-04T07:46:42Z)
• Simple Image Signal Processing using Global Context Guidance [56.41827271721955]
  ディープラーニングベースのISPは、深層ニューラルネットワークを使用してRAW画像をDSLRライクなRGBイメージに変換することを目指している。 我々は,全RAW画像からグローバルなコンテキスト情報をキャプチャするために,任意のニューラルISPに統合可能な新しいモジュールを提案する。 本モデルでは,多種多様な実スマートフォン画像を用いて,様々なベンチマークで最新の結果が得られる。
  論文  参考訳（メタデータ） (2024-04-17T17:11:47Z)
• BSRAW: Improving Blind RAW Image Super-Resolution [63.408484584265985]
  RAW領域におけるブラインド画像の超解像化に取り組む。 生センサデータを用いたトレーニングモデルに特化した,現実的な劣化パイプラインを設計する。 私たちのパイプラインでトレーニングしたBSRAWモデルは、リアルタイムRAW画像をスケールアップし、品質を向上させることができます。
  論文  参考訳（メタデータ） (2023-12-24T14:17:28Z)
• DRAW: Defending Camera-shooted RAW against Image Manipulation [24.203631473348462]
  そこで本稿では,RAWの音源を保護することにより,画像の操作を防ぐ新しい手法を提案する。 具体的には、周波数学習と部分的特徴融合により、限られた計算資源を持つデバイスに対して、軽量な多周波部分核融合ネットワーク(MPF-Net)を設計する。 保護機能は、適用されたISPパイプラインに関係なくレンダリングされたRGBイメージに転送できるだけでなく、ぼやけや圧縮といった後処理操作にも耐性がある。
  論文  参考訳（メタデータ） (2023-07-31T05:57:41Z)
• Self-Supervised Reversed Image Signal Processing via Reference-Guided Dynamic Parameter Selection [1.1602089225841632]
  メタデータとペア画像を必要としない自己教師付き逆ISP方式を提案する。 提案手法は,RGB画像を参照RAW画像と同じセンサで同一環境で撮影されたRAWライクな画像に変換する。 提案手法は,他の最先端教師付き手法に匹敵する精度で,様々な逆ISPを学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-24T11:12:05Z)
• Reversed Image Signal Processing and RAW Reconstruction. AIM 2022 Challenge Report [109.2135194765743]
  本稿では,AIM 2022 Challenge on Reversed Image Signal Processing and RAW Reconstructionを紹介する。 我々は,メタデータを使わずにRGBから生のセンサイメージを回収し,ISP変換を「逆」することを目的としている。
  論文  参考訳（メタデータ） (2022-10-20T10:43:53Z)
• Learning RAW-to-sRGB Mappings with Inaccurately Aligned Supervision [76.41657124981549]
  本稿では,画像アライメントとRAW-to-sRGBマッピングのための共同学習モデルを提案する。 実験の結果,本手法はZRRおよびSR-RAWデータセットの最先端に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2021-08-18T12:41:36Z)
• Invertible Image Signal Processing [42.109752151834456]
  InvISP(Invertible Image Signal Processing)パイプラインにより、視覚的に魅力的なsRGBイメージをレンダリングできます。 メモリのオーバーヘッドなしにsrgb画像から生データを合成する代わりに、リアルな生データを再構築できる。
  論文  参考訳（メタデータ） (2021-03-28T06:30:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。