論文の概要: ISP Distillation

• arxiv url: http://arxiv.org/abs/2101.10203v3
• Date: Thu, 4 May 2023 14:27:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-05 20:17:28.657497
• Title: ISP Distillation
• Title（参考訳）: ISP蒸留
• Authors: Eli Schwartz, Alex Bronstein, Raja Giryes
• Abstract要約: オブジェクト認識やセマンティックセグメンテーションのような高レベルのマシンビジョンモデルは、画像がカメラによって標準的な画像空間に変換されると仮定する。 カメラISPは、マシンではなく、人間の観察者のために視覚的に喜ぶ画像を生成するために最適化されている。 オブジェクト分類とセマンティックセグメンテーションのためのRAW画像の性能は、ラベル付きRAW画像上で訓練されたモデルよりも著しく優れていることを示す。
• 参考スコア（独自算出の注目度）: 38.19032198060534
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Nowadays, many of the images captured are `observed' by machines only and not by humans, e.g., in autonomous systems. High-level machine vision models, such as object recognition or semantic segmentation, assume images are transformed into some canonical image space by the camera \ans{Image Signal Processor (ISP)}. However, the camera ISP is optimized for producing visually pleasing images for human observers and not for machines. Therefore, one may spare the ISP compute time and apply vision models directly to RAW images. Yet, it has been shown that training such models directly on RAW images results in a performance drop. To mitigate this drop, we use a RAW and RGB image pairs dataset, which can be easily acquired with no human labeling. We then train a model that is applied directly to the RAW data by using knowledge distillation such that the model predictions for RAW images will be aligned with the predictions of an off-the-shelf pre-trained model for processed RGB images. Our experiments show that our performance on RAW images for object classification and semantic segmentation is significantly better than models trained on labeled RAW images. It also reasonably matches the predictions of a pre-trained model on processed RGB images, while saving the ISP compute overhead.
• Abstract（参考訳）: 今日では、撮影された画像の多くは、機械によってのみ観察され、人間、例えば自律システムによって観察される。 オブジェクト認識やセマンティックセグメンテーションなどの高レベルマシンビジョンモデルは、画像がカメラ \ans{Image Signal Processor (ISP)} によって標準的な画像空間に変換されると仮定する。 しかし、カメラISPは、人間の観察者にとって、マシンではなく、視覚的に喜ぶイメージを作り出すために最適化されている。 したがって、ISPの計算時間を省き、RAW画像に直接視覚モデルを適用することができる。 しかし,RAW画像から直接そのようなモデルをトレーニングすると,性能低下が生じることが示されている。 この減少を緩和するために、RAWとRGBイメージペアデータセットを使用し、人間のラベルなしで容易に取得できる。 次に、知識蒸留を用いてRAWデータに直接適用されるモデルを訓練し、RAW画像のモデル予測が、処理されたRGB画像の既訓練モデルの予測と一致するようにする。 実験の結果,RAW画像におけるオブジェクト分類とセマンティックセグメンテーションの性能は,ラベル付きRAW画像のトレーニングモデルよりも有意に優れていることがわかった。 また、ISPの計算オーバーヘッドを節約しながら、処理されたRGBイメージ上で事前訓練されたモデルの予測と合理的に一致します。

関連論文リスト

• Towards RAW Object Detection in Diverse Conditions [65.30190654593842]
  62のカテゴリにまたがる135,601のアノテーション付きインスタンスを備えた7,785の高分解能実RAW画像を提供するAODRawデータセットを紹介した。 sRGB と RAW の領域ギャップにより RAW オブジェクト検出の可能性は sRGB と RAW との事前学習によって制限されることがわかった。 我々は,RAW事前学習を支援するために,SRGBドメインで事前学習した市販のモデルから知識を抽出する。
  論文  参考訳（メタデータ） (2024-11-24T01:23:04Z)
• A Learnable Color Correction Matrix for RAW Reconstruction [19.394856071610604]
  複雑な逆画像信号処理装置(ISP)を近似する学習可能な色補正行列(CCM)を導入する。 実験結果から,本手法で生成したRAW(simRAW)画像は,より複雑な逆ISP法で生成した画像と同等の性能向上が得られた。
  論文  参考訳（メタデータ） (2024-09-04T07:46:42Z)
• RAW-Adapter: Adapting Pre-trained Visual Model to Camera RAW Images [51.68432586065828]
  本稿では,カメラRAWデータへのsRGB事前学習モデルの適用を目的とした新しいアプローチであるRAW-Adapterを紹介する。 Raw-Adapterは、学習可能なISPステージを使用してRAW入力を調整する入力レベルアダプタと、ISPステージとその後の高レベルネットワーク間の接続を構築するモデルレベルアダプタで構成されている。
  論文  参考訳（メタデータ） (2024-08-27T06:14:54Z)
• Rawformer: Unpaired Raw-to-Raw Translation for Learnable Camera ISPs [53.68932498994655]
  本稿では,多種多様なカメラを用いた生と生の翻訳の未ペアリング学習手法を提案する。 特定のカメラが捉えた生画像をターゲットカメラに正確にマッピングし、学習可能なISPを新しい目に見えないカメラに一般化する。 提案手法は,従来の最先端技術と比較して精度が高く,実際のカメラデータセットに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-16T16:17:48Z)
• Self-Supervised Reversed Image Signal Processing via Reference-Guided Dynamic Parameter Selection [1.1602089225841632]
  メタデータとペア画像を必要としない自己教師付き逆ISP方式を提案する。 提案手法は,RGB画像を参照RAW画像と同じセンサで同一環境で撮影されたRAWライクな画像に変換する。 提案手法は,他の最先端教師付き手法に匹敵する精度で,様々な逆ISPを学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-24T11:12:05Z)
• Efficient Visual Computing with Camera RAW Snapshots [41.9863557302409]
  従来のカメラはセンサ上の画像光を捕捉し、画像信号プロセッサ(ISP)を用いてRGB画像に変換する。 RAW画像にはキャプチャされた全ての情報が含まれているため、ISPを用いたRAWからRGBへの変換はビジュアルコンピューティングには必要ないと論じることができる。 RAW画像を用いた高レベルセマンティック理解と低レベル圧縮を実現するための新しい$rho$-Visionフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-15T12:54:21Z)
• Model-Based Image Signal Processors via Learnable Dictionaries [6.766416093990318]
  デジタルカメラは画像信号処理装置(ISP)を用いてRAW読み出しをRGB画像に変換する 近年のアプローチでは、RGBからRAWマッピングを推定することで、このギャップを埋めようとしている。 本稿では,学習可能かつ解釈可能なハイブリッド・モデルベースかつデータ駆動型ISPを提案する。
  論文  参考訳（メタデータ） (2022-01-10T08:36:10Z)
• Towards Low Light Enhancement with RAW Images [101.35754364753409]
  我々は、低光強度でRAW画像を使用することの優位性について、最初のベンチマークを行う。 本研究では,RAW画像の特性を計測可能な因子に分解するFEM(Facterized Enhancement Model)を新たに開発した。 実アプリケーションにおけるRAW画像の利点と利用不可のトレードオフを生かしたREENet(RAW-guiding Exposure Enhancement Network)を開発した。
  論文  参考訳（メタデータ） (2021-12-28T07:27:51Z)
• Raw Image Deblurring [24.525466412146358]
  RAW画像と処理されたsRGB画像の両方を含む新しいデータセットを構築し、RAW画像のユニークな特性を利用する新しいモデルを設計します。 RAW画像のみをトレーニングしたデブロアリングモデルは,最先端のパフォーマンスを実現し,処理されたsRGB画像上でのトレーニングよりも優れる。
  論文  参考訳（メタデータ） (2020-12-08T08:03:09Z)
• CycleISP: Real Image Restoration via Improved Data Synthesis [166.17296369600774]
  本稿では,前向きと逆方向のカメラ画像パイプラインをモデル化するフレームワークを提案する。 リアルな合成データに基づいて新しい画像認識ネットワークをトレーニングすることにより、実際のカメラベンチマークデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-03-17T15:20:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。