論文の概要: AdaptiveISP: Learning an Adaptive Image Signal Processor for Object Detection
- arxiv url: http://arxiv.org/abs/2410.22939v1
- Date: Wed, 30 Oct 2024 11:49:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-31 14:27:32.800058
- Title: AdaptiveISP: Learning an Adaptive Image Signal Processor for Object Detection
- Title（参考訳）: AdaptiveISP:オブジェクト検出のためのAdaptive Image Signal Processorの学習
- Authors: Yujin Wang, Tianyi Xu, Fan Zhang, Tianfan Xue, Jinwei Gu,
- Abstract要約: Image Signal Processors (ISP)は、生のセンサー信号をデジタル画像に変換する。
ISPは画像品質を最大化するために設計されており、これはハイレベルコンピュータビジョンタスクのパフォーマンスに最適である。
本稿では,タスク駆動型かつシーン適応型ISPであるAdaptiveISPを提案する。
- 参考スコア（独自算出の注目度）: 15.63212587981912
- License:
- Abstract: Image Signal Processors (ISPs) convert raw sensor signals into digital images, which significantly influence the image quality and the performance of downstream computer vision tasks. Designing ISP pipeline and tuning ISP parameters are two key steps for building an imaging and vision system. To find optimal ISP configurations, recent works use deep neural networks as a proxy to search for ISP parameters or ISP pipelines. However, these methods are primarily designed to maximize the image quality, which are sub-optimal in the performance of high-level computer vision tasks such as detection, recognition, and tracking. Moreover, after training, the learned ISP pipelines are mostly fixed at the inference time, whose performance degrades in dynamic scenes. To jointly optimize ISP structures and parameters, we propose AdaptiveISP, a task-driven and scene-adaptive ISP. One key observation is that for the majority of input images, only a few processing modules are needed to improve the performance of downstream recognition tasks, and only a few inputs require more processing. Based on this, AdaptiveISP utilizes deep reinforcement learning to automatically generate an optimal ISP pipeline and the associated ISP parameters to maximize the detection performance. Experimental results show that AdaptiveISP not only surpasses the prior state-of-the-art methods for object detection but also dynamically manages the trade-off between detection performance and computational cost, especially suitable for scenes with large dynamic range variations. Project website: https://openimaginglab.github.io/AdaptiveISP/.
- Abstract（参考訳）: 画像信号処理装置(ISP)は生のセンサ信号をデジタル画像に変換し、下流コンピュータビジョンタスクの画質と性能に大きな影響を及ぼす。
ISPパイプラインの設計とISPパラメータのチューニングは、イメージングとビジョンシステムを構築するための2つの重要なステップである。
最適なISP構成を見つけるために、最近の研究では、ISPパラメータやISPパイプラインを探索するプロキシとしてディープニューラルネットワークを使用している。
しかし、これらの手法は主に画像品質を最大化するために設計されており、検出、認識、追跡などのハイレベルなコンピュータビジョンタスクの性能に準最適である。
さらに、トレーニング後、学習したISPパイプラインは推論時にほとんど固定され、動的シーンではパフォーマンスが低下する。
ISPの構造とパラメータを協調的に最適化するために,タスク駆動型かつシーン適応型ISPであるAdaptiveISPを提案する。
重要な観察の1つは、入力画像の大部分において、下流認識タスクのパフォーマンスを改善するために必要な処理モジュールはわずかであり、より多くの処理を必要とするインプットはわずかであるということである。
これに基づいて、AdaptiveISPは深層強化学習を利用して、検出性能を最大化するために最適なISPパイプラインと関連するISPパラメータを自動的に生成する。
実験結果から,AdaptiveISPは従来のオブジェクト検出手法を超越するだけでなく,検出性能と計算コストのトレードオフを動的に管理することがわかった。
プロジェクトのWebサイト: https://openimaginglab.github.io/AdaptiveISP/。
関連論文リスト
- PQDynamicISP: Dynamically Controlled Image Signal Processor for Any Image Sensors Pursuing Perceptual Quality [0.5530212768657544]
ISPのパラメータをチューニングする代わりに,各環境,さらにはローカルでも動的に制御することを提案する。
本手法では,1つのISPで複数のイメージセンサを動的制御により処理することができるが,従来の手法では各センサのトレーニングが必要であった。
論文 参考訳（メタデータ） (2024-03-15T08:08:24Z) - DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image
Enhancement [77.0360085530701]
水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。
従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。
提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
論文 参考訳（メタデータ） (2023-12-12T06:07:21Z) - Learning Degradation-Independent Representations for Camera ISP Pipelines [14.195578257521934]
本稿では, 自己教師付き学習ベースライン表現の洗練を通じて, 劣化非依存表現(DiR)を学習するための新しい手法を提案する。
提案手法はドメイン一般化能力に優れ,様々なダウンストリームタスクにおいて最先端の手法よりも優れる。
論文 参考訳（メタデータ） (2023-07-03T05:38:28Z) - Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
私たちは新しいビジュアルを提案します。
Sensuous-Aware Fine-Tuning (SPT) スキーム。
SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。
ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
論文 参考訳（メタデータ） (2023-03-15T12:34:24Z) - DynamicISP: Dynamically Controlled Image Signal Processor for Image
Recognition [0.5530212768657544]
動的ISPは、複数の古典的ISP関数から構成され、前のフレームの認識結果に応じて各フレームのパラメータを動的に制御する。
本稿では,複数のISP関数のパラメータの制御に成功し,単一および複数カテゴリのオブジェクト検出タスクにおいて,計算コストの低い最先端の精度を実現する。
論文 参考訳（メタデータ） (2022-11-02T14:22:50Z) - LW-ISP: A Lightweight Model with ISP and Deep Learning [17.972611191715888]
ISPパイプラインにおけるリアルタイム高速処理を実現するための学習ベース手法の可能性を示す。
RAWデータからRGB画像へのイメージマッピングを暗黙的に学習する新しいアーキテクチャであるLW-ISPを提案する。
実験により、LW-ISPはPSNRの0.38dB改善を達成した。
論文 参考訳（メタデータ） (2022-10-08T04:00:03Z) - Controllable Image Enhancement [66.18525728881711]
いくつかのパラメータを制御して、複数のスタイルで高品質な画像を生成できる半自動画像強調アルゴリズムを提案する。
エンコーダ・デコーダフレームワークは、リタッチスキルを潜在コードにエンコードし、イメージ信号処理機能のパラメータにデコードする。
論文 参考訳（メタデータ） (2022-06-16T23:54:53Z) - An Empirical Study of Remote Sensing Pretraining [117.90699699469639]
本研究では,空中画像におけるリモートセンシング事前訓練(RSP)の実証的研究を行った。
RSPは、シーン認識タスクで特有のパフォーマンスを提供するのに役立つ。
RSPは、従来のイメージネットがRS画像に事前学習する際のデータ格差を緩和するが、それでもタスクの相違に悩まされる可能性がある。
論文 参考訳（メタデータ） (2022-04-06T13:38:11Z) - ReconfigISP: Reconfigurable Camera Image Processing Pipeline [75.46902933531247]
Image Signal Processor(ISP)は、センサー信号を画像に変換するデジタルカメラにおいて、知覚と理解のために重要なコンポーネントである。
既存のISP設計では、固定されたアーキテクチャ(例えば、厳密な順序で接続されたいくつかのシーケンシャルなモジュール)が常に採用されている。
本研究では,Reconfigurable ISP(Reconfigurable ISP)を提案する。
論文 参考訳（メタデータ） (2021-09-10T09:56:43Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳（メタデータ） (2021-03-15T12:54:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。