論文の概要: Efficient Visual Computing with Camera RAW Snapshots
- arxiv url: http://arxiv.org/abs/2212.07778v1
- Date: Thu, 15 Dec 2022 12:54:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 17:45:37.565292
- Title: Efficient Visual Computing with Camera RAW Snapshots
- Title(参考訳): カメラRAWスナップショットを用いた効率的なビジュアルコンピューティング
- Authors: Zhihao Li, Ming Lu, Xu Zhang, Xin Feng, M. Salman Asif, and Zhan Ma
- Abstract要約: 従来のカメラはセンサ上の画像光を捕捉し、画像信号プロセッサ(ISP)を用いてRGB画像に変換する。
RAW画像にはキャプチャされた全ての情報が含まれているため、ISPを用いたRAWからRGBへの変換はビジュアルコンピューティングには必要ないと論じることができる。
RAW画像を用いた高レベルセマンティック理解と低レベル圧縮を実現するための新しい$rho$-Visionフレームワークを提案する。
- 参考スコア(独自算出の注目度): 36.89717472482939
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Conventional cameras capture image irradiance on a sensor and convert it to
RGB images using an image signal processor (ISP). The images can then be used
for photography or visual computing tasks in a variety of applications, such as
public safety surveillance and autonomous driving. One can argue that since RAW
images contain all the captured information, the conversion of RAW to RGB using
an ISP is not necessary for visual computing. In this paper, we propose a novel
$\rho$-Vision framework to perform high-level semantic understanding and
low-level compression using RAW images without the ISP subsystem used for
decades. Considering the scarcity of available RAW image datasets, we first
develop an unpaired CycleR2R network based on unsupervised CycleGAN to train
modular unrolled ISP and inverse ISP (invISP) models using unpaired RAW and RGB
images. We can then flexibly generate simulated RAW images (simRAW) using any
existing RGB image dataset and finetune different models originally trained for
the RGB domain to process real-world camera RAW images. We demonstrate object
detection and image compression capabilities in RAW-domain using RAW-domain
YOLOv3 and RAW image compressor (RIC) on snapshots from various cameras.
Quantitative results reveal that RAW-domain task inference provides better
detection accuracy and compression compared to RGB-domain processing.
Furthermore, the proposed \r{ho}-Vision generalizes across various camera
sensors and different task-specific models. Additional advantages of the
proposed $\rho$-Vision that eliminates the ISP are the potential reductions in
computations and processing times.
- Abstract(参考訳): 従来のカメラは、センサ上の画像照射をキャプチャし、画像信号プロセッサ(ISP)を使用してRGB画像に変換する。
画像は、公共の安全監視や自動運転など、さまざまなアプリケーションにおける写真やビジュアルコンピューティングタスクに使用できる。
RAW画像にはキャプチャされた全ての情報が含まれているため、ISPを用いたRAWからRGBへの変換はビジュアルコンピューティングには必要ないと論じることができる。
本稿では,ispサブシステムを用いずに高レベルな意味理解と低レベル圧縮を実現する,新たな$\rho$-visionフレームワークを提案する。
利用可能なRAW画像データセットの不足を考慮し、まず教師なしのCycleGANに基づく非ペア化CycleR2Rネットワークを開発し、非ペア化RAW画像とRGB画像を用いたモジュラー・アンロールISPおよび逆ISP(invISP)モデルをトレーニングする。
次に、既存のRGB画像データセットを使用して、シミュレーションRAW画像(simRAW)を柔軟に生成し、RGBドメインのためにトレーニングされた異なるモデルを用いて実世界のRAW画像を処理する。
本稿では,raw-domain yolov3 と raw image compressor (ric) を用いたraw-domain のオブジェクト検出と画像圧縮機能を示す。
定量的な結果から,RAW領域タスク推論はRGB領域処理よりも検出精度と圧縮性がよいことがわかった。
さらに、提案した \r{ho}-Vision は、様々なカメラセンサーと異なるタスク固有モデルにまたがって一般化される。
ISPを排除する$\rho$-Visionのその他の利点は、計算と処理時間の潜在的な削減である。
関連論文リスト
- BSRAW: Improving Blind RAW Image Super-Resolution [63.408484584265985]
RAW領域におけるブラインド画像の超解像化に取り組む。
生センサデータを用いたトレーニングモデルに特化した,現実的な劣化パイプラインを設計する。
私たちのパイプラインでトレーニングしたBSRAWモデルは、リアルタイムRAW画像をスケールアップし、品質を向上させることができます。
論文 参考訳(メタデータ) (2023-12-24T14:17:28Z) - DRAW: Defending Camera-shooted RAW against Image Manipulation [24.203631473348462]
そこで本稿では,RAWの音源を保護することにより,画像の操作を防ぐ新しい手法を提案する。
具体的には、周波数学習と部分的特徴融合により、限られた計算資源を持つデバイスに対して、軽量な多周波部分核融合ネットワーク(MPF-Net)を設計する。
保護機能は、適用されたISPパイプラインに関係なくレンダリングされたRGBイメージに転送できるだけでなく、ぼやけや圧縮といった後処理操作にも耐性がある。
論文 参考訳(メタデータ) (2023-07-31T05:57:41Z) - Self-Supervised Reversed Image Signal Processing via Reference-Guided
Dynamic Parameter Selection [1.1602089225841632]
メタデータとペア画像を必要としない自己教師付き逆ISP方式を提案する。
提案手法は,RGB画像を参照RAW画像と同じセンサで同一環境で撮影されたRAWライクな画像に変換する。
提案手法は,他の最先端教師付き手法に匹敵する精度で,様々な逆ISPを学習可能であることを示す。
論文 参考訳(メタデータ) (2023-03-24T11:12:05Z) - Reversed Image Signal Processing and RAW Reconstruction. AIM 2022
Challenge Report [109.2135194765743]
本稿では,AIM 2022 Challenge on Reversed Image Signal Processing and RAW Reconstructionを紹介する。
我々は,メタデータを使わずにRGBから生のセンサイメージを回収し,ISP変換を「逆」することを目的としている。
論文 参考訳(メタデータ) (2022-10-20T10:43:53Z) - Transform your Smartphone into a DSLR Camera: Learning the ISP in the
Wild [159.71025525493354]
本稿では,スマートフォンが取得したRAW画像に基づいて,DSLRの品質画像を生成する訓練可能な画像信号処理フレームワークを提案する。
トレーニング画像ペア間の色ずれに対処するために、カラー条件ISPネットワークを使用し、各入力RAWと基準DSLR画像間の新しいパラメトリック色マッピングを最適化する。
論文 参考訳(メタデータ) (2022-03-20T20:13:59Z) - Model-Based Image Signal Processors via Learnable Dictionaries [6.766416093990318]
デジタルカメラは画像信号処理装置(ISP)を用いてRAW読み出しをRGB画像に変換する
近年のアプローチでは、RGBからRAWマッピングを推定することで、このギャップを埋めようとしている。
本稿では,学習可能かつ解釈可能なハイブリッド・モデルベースかつデータ駆動型ISPを提案する。
論文 参考訳(メタデータ) (2022-01-10T08:36:10Z) - Towards Low Light Enhancement with RAW Images [101.35754364753409]
我々は、低光強度でRAW画像を使用することの優位性について、最初のベンチマークを行う。
本研究では,RAW画像の特性を計測可能な因子に分解するFEM(Facterized Enhancement Model)を新たに開発した。
実アプリケーションにおけるRAW画像の利点と利用不可のトレードオフを生かしたREENet(RAW-guiding Exposure Enhancement Network)を開発した。
論文 参考訳(メタデータ) (2021-12-28T07:27:51Z) - Learning RAW-to-sRGB Mappings with Inaccurately Aligned Supervision [76.41657124981549]
本稿では,画像アライメントとRAW-to-sRGBマッピングのための共同学習モデルを提案する。
実験の結果,本手法はZRRおよびSR-RAWデータセットの最先端に対して良好に動作することがわかった。
論文 参考訳(メタデータ) (2021-08-18T12:41:36Z) - Invertible Image Signal Processing [42.109752151834456]
InvISP(Invertible Image Signal Processing)パイプラインにより、視覚的に魅力的なsRGBイメージをレンダリングできます。
メモリのオーバーヘッドなしにsrgb画像から生データを合成する代わりに、リアルな生データを再構築できる。
論文 参考訳(メタデータ) (2021-03-28T06:30:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。