論文の概要: ISP Distillation

• arxiv url: http://arxiv.org/abs/2101.10203v1
• Date: Mon, 25 Jan 2021 16:12:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-14 19:21:08.997758
• Title: ISP Distillation
• Title（参考訳）: ISP蒸留
• Authors: Eli Schwartz, Alex Bronstein, Raja Giryes
• Abstract要約: 物体認識などの高レベルマシンビジョンモデルは、画像がカメラispによって標準画像空間に変換されると仮定する。 カメラISPは、人間の観察者に視覚的に喜ばしい画像を生成するために最適化されており、マシンには適用されないため、ISPの計算時間を省き、ビジョンモデルを生データに直接適用することができる。 我々は、知識蒸留を用いてRAWデータに直接適用されるモデルを訓練し、RAW画像のモデル予測が、処理されたRGB画像の既訓練モデルの予測と一致するようにした。
• 参考スコア（独自算出の注目度）: 43.111429881689865
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Nowadays, many of the images captured are "observed" by machines only and not by humans, for example, robots' or autonomous cars' cameras. High-level machine vision models, such as object recognition, assume images are transformed to some canonical image space by the camera ISP. However, the camera ISP is optimized for producing visually pleasing images to human observers and not for machines, thus, one may spare the ISP compute time and apply the vision models directly to the raw data. Yet, it has been shown that training such models directly on the RAW images results in a performance drop. To mitigate this drop in performance (without the need to annotate RAW data), we use a dataset of RAW and RGB image pairs, which can be easily acquired with no human labeling. We then train a model that is applied directly to the RAW data by using knowledge distillation such that the model predictions for RAW images will be aligned with the predictions of an off-the-shelf pre-trained model for processed RGB images. Our experiments show that our performance on RAW images is significantly better than a model trained on labeled RAW images. It also reasonably matches the predictions of a pre-trained model on processed RGB images, while saving the ISP compute overhead.
• Abstract（参考訳）: 現在、撮影された画像の多くは、ロボットや自動運転車のカメラなど、人間ではなく機械によって「観察」されている。 物体認識などの高レベルマシンビジョンモデルは、画像がカメラispによって標準画像空間に変換されると仮定する。 しかし、カメラISPは、人間の観察者に対して、マシンではなく、視覚的に喜ぶ画像を生成するために最適化されているため、ISPの計算時間を省いて、ビジョンモデルを生データに直接適用することができる。 しかし,RAW画像から直接そのようなモデルをトレーニングすると,性能低下が生じることが示されている。 RAWデータのアノテートを必要とせずに)この性能低下を軽減するために、RAWとRGBのイメージペアのデータセットを使用し、人間のラベルなしで容易に取得できる。 次に、RAW画像のモデル予測が処理されたRGB画像の既製プリトレーニングモデルの予測と一致するように、知識蒸留を使用してRAWデータに直接適用されるモデルをトレーニングします。 実験の結果,RAW画像の性能はラベル付きRAW画像で訓練されたモデルよりも有意に優れていることがわかった。 また、処理されたRGB画像の事前訓練されたモデルの予測に合理的に一致し、ISPの計算オーバーヘッドを節約します。

関連論文リスト

• Efficient Visual Computing with Camera RAW Snapshots [36.89717472482939]
  従来のカメラはセンサ上の画像光を捕捉し、画像信号プロセッサ(ISP)を用いてRGB画像に変換する。 RAW画像にはキャプチャされた全ての情報が含まれているため、ISPを用いたRAWからRGBへの変換はビジュアルコンピューティングには必要ないと論じることができる。 RAW画像を用いた高レベルセマンティック理解と低レベル圧縮を実現するための新しい$rho$-Visionフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-15T12:54:21Z)
• Reversed Image Signal Processing and RAW Reconstruction. AIM 2022 Challenge Report [109.2135194765743]
  本稿では,AIM 2022 Challenge on Reversed Image Signal Processing and RAW Reconstructionを紹介する。 我々は,メタデータを使わずにRGBから生のセンサイメージを回収し,ISP変換を「逆」することを目的としている。
  論文  参考訳（メタデータ） (2022-10-20T10:43:53Z)
• Transform your Smartphone into a DSLR Camera: Learning the ISP in the Wild [159.71025525493354]
  本稿では,スマートフォンが取得したRAW画像に基づいて,DSLRの品質画像を生成する訓練可能な画像信号処理フレームワークを提案する。 トレーニング画像ペア間の色ずれに対処するために、カラー条件ISPネットワークを使用し、各入力RAWと基準DSLR画像間の新しいパラメトリック色マッピングを最適化する。
  論文  参考訳（メタデータ） (2022-03-20T20:13:59Z)
• Model-Based Image Signal Processors via Learnable Dictionaries [6.766416093990318]
  デジタルカメラは画像信号処理装置(ISP)を用いてRAW読み出しをRGB画像に変換する 近年のアプローチでは、RGBからRAWマッピングを推定することで、このギャップを埋めようとしている。 本稿では,学習可能かつ解釈可能なハイブリッド・モデルベースかつデータ駆動型ISPを提案する。
  論文  参考訳（メタデータ） (2022-01-10T08:36:10Z)
• Towards Low Light Enhancement with RAW Images [101.35754364753409]
  我々は、低光強度でRAW画像を使用することの優位性について、最初のベンチマークを行う。 本研究では,RAW画像の特性を計測可能な因子に分解するFEM(Facterized Enhancement Model)を新たに開発した。 実アプリケーションにおけるRAW画像の利点と利用不可のトレードオフを生かしたREENet(RAW-guiding Exposure Enhancement Network)を開発した。
  論文  参考訳（メタデータ） (2021-12-28T07:27:51Z)
• CAMPARI: Camera-Aware Decomposed Generative Neural Radiance Fields [67.76151996543588]
  画像だけでなく,カメラデータ分布を忠実に復元する3次元およびカメラ認識生成モデルについて検討した。 テスト時に、私たちのモデルは、カメラを明示的に制御し、シーンの形状と外観で画像を生成します。
  論文  参考訳（メタデータ） (2021-03-31T17:59:24Z)
• Invertible Image Signal Processing [42.109752151834456]
  InvISP(Invertible Image Signal Processing)パイプラインにより、視覚的に魅力的なsRGBイメージをレンダリングできます。 メモリのオーバーヘッドなしにsrgb画像から生データを合成する代わりに、リアルな生データを再構築できる。
  論文  参考訳（メタデータ） (2021-03-28T06:30:15Z)
• Raw Image Deblurring [24.525466412146358]
  RAW画像と処理されたsRGB画像の両方を含む新しいデータセットを構築し、RAW画像のユニークな特性を利用する新しいモデルを設計します。 RAW画像のみをトレーニングしたデブロアリングモデルは,最先端のパフォーマンスを実現し,処理されたsRGB画像上でのトレーニングよりも優れる。
  論文  参考訳（メタデータ） (2020-12-08T08:03:09Z)
• CycleISP: Real Image Restoration via Improved Data Synthesis [166.17296369600774]
  本稿では,前向きと逆方向のカメラ画像パイプラインをモデル化するフレームワークを提案する。 リアルな合成データに基づいて新しい画像認識ネットワークをトレーニングすることにより、実際のカメラベンチマークデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-03-17T15:20:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。