論文の概要: ReconfigISP: Reconfigurable Camera Image Processing Pipeline
- arxiv url: http://arxiv.org/abs/2109.04760v1
- Date: Fri, 10 Sep 2021 09:56:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-13 13:21:45.425654
- Title: ReconfigISP: Reconfigurable Camera Image Processing Pipeline
- Title(参考訳): ReconfigISP: 再構成可能なカメライメージ処理パイプライン
- Authors: Ke Yu, Zexian Li, Yue Peng, Chen Change Loy, Jinwei Gu
- Abstract要約: Image Signal Processor(ISP)は、センサー信号を画像に変換するデジタルカメラにおいて、知覚と理解のために重要なコンポーネントである。
既存のISP設計では、固定されたアーキテクチャ(例えば、厳密な順序で接続されたいくつかのシーケンシャルなモジュール)が常に採用されている。
本研究では,Reconfigurable ISP(Reconfigurable ISP)を提案する。
- 参考スコア(独自算出の注目度): 75.46902933531247
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image Signal Processor (ISP) is a crucial component in digital cameras that
transforms sensor signals into images for us to perceive and understand.
Existing ISP designs always adopt a fixed architecture, e.g., several
sequential modules connected in a rigid order. Such a fixed ISP architecture
may be suboptimal for real-world applications, where camera sensors, scenes and
tasks are diverse. In this study, we propose a novel Reconfigurable ISP
(ReconfigISP) whose architecture and parameters can be automatically tailored
to specific data and tasks. In particular, we implement several ISP modules,
and enable backpropagation for each module by training a differentiable proxy,
hence allowing us to leverage the popular differentiable neural architecture
search and effectively search for the optimal ISP architecture. A proxy tuning
mechanism is adopted to maintain the accuracy of proxy networks in all cases.
Extensive experiments conducted on image restoration and object detection, with
different sensors, light conditions and efficiency constraints, validate the
effectiveness of ReconfigISP. Only hundreds of parameters need tuning for every
task.
- Abstract(参考訳): Image Signal Processor(ISP)は、センサー信号を画像に変換するデジタルカメラにおいて重要なコンポーネントであり、私たちの知覚と理解に役立ちます。
既存のisp設計は常に固定アーキテクチャを採用しており、例えばいくつかのシーケンシャルモジュールが厳密な順序で接続されている。
このような固定ISPアーキテクチャは、カメラセンサー、シーン、タスクが多様である現実世界のアプリケーションに最適である。
本研究では,アーキテクチャやパラメータを特定のデータやタスクに自動的に調整できる,再構成可能な新しいisp (reconfigisp) を提案する。
特に、複数のISPモジュールを実装し、差別化可能なプロキシをトレーニングすることで各モジュールのバックプロパゲーションを可能にし、人気のある差別化可能なニューラルネットワーク検索を活用し、最適なISPアーキテクチャを効果的に検索することができる。
すべてのケースにおいてプロキシネットワークの精度を維持するためにプロキシチューニング機構が採用されている。
異なるセンサー、光条件、効率の制約を備えた画像復元と物体検出に関する広範な実験により、再構成の有効性が検証された。
タスクごとにチューニングが必要なパラメータは数百です。
関連論文リスト
- Learning Degradation-Independent Representations for Camera ISP
Pipelines [15.954407353419263]
本稿では, 自己教師付き学習ベースライン表現の洗練を通じて, 劣化非依存表現(DiR)を学習するための新しい手法を提案する。
提案手法はドメイン一般化能力に優れ,様々なダウンストリームタスクにおいて最先端の手法よりも優れる。
論文 参考訳(メタデータ) (2023-07-03T05:38:28Z) - ISP meets Deep Learning: A Survey on Deep Learning Methods for Image
Signal Processing [0.0]
カメラのイメージシグナルプロセッサ(ISP)全体は、カラーフィルタアレイ(CFA)センサーからデータを変換する複数のプロセスに依存している。
ディープラーニング(Deep Learning)は、その一部、あるいはひとつのニューラルネットワークを使ってISP全体を置き換えるためのソリューションとして登場した。
論文 参考訳(メタデータ) (2023-05-19T20:37:27Z) - RepMode: Learning to Re-parameterize Diverse Experts for Subcellular
Structure Prediction [54.69195221765405]
生物学的研究において、蛍光染色は細胞内構造の位置と形態を明らかにする重要な技術である。
本稿では,3次元透過光画像から複数の細胞構造体の3次元蛍光画像を予測することを目的とした,細胞構造予測(subcellular structure prediction, SSP)と呼ばれる深層学習タスクをモデル化する。
本稿では,特定の単一ラベル予測タスクを処理するために,タスク認識の事前処理によってパラメータを動的に整理するネットワークRepModeを提案する。
論文 参考訳(メタデータ) (2022-12-20T08:17:08Z) - DynamicISP: Dynamically Controlled Image Signal Processor for Image
Recognition [0.5530212768657544]
動的ISPは、複数の古典的ISP関数から構成され、前のフレームの認識結果に応じて各フレームのパラメータを動的に制御する。
本稿では,複数のISP関数のパラメータの制御に成功し,単一および複数カテゴリのオブジェクト検出タスクにおいて,計算コストの低い最先端の精度を実現する。
論文 参考訳(メタデータ) (2022-11-02T14:22:50Z) - DRL-ISP: Multi-Objective Camera ISP with Deep Reinforcement Learning [82.4114562598703]
本稿では,Deep Reinforcement Learning(DRL)とカメラISPツールボックスを利用するカメラISPフレームワークを提案する。
DRLベースのカメラISPフレームワークは、ツールボックスから適切なツールを反復的に選択し、画像に適用して、与えられた視覚タスク固有の報酬関数を最大化する。
提案するDRLベースのISPフレームワークは,RAW-to-RGB画像復元,2次元物体検出,単眼深度推定などの視覚タスクに応じて,画像品質を効果的に向上する。
論文 参考訳(メタデータ) (2022-07-07T04:34:05Z) - ARM: Any-Time Super-Resolution Method [72.98897502507789]
Any-time Super-Resolution Method (ARM) は、過パラメータ化された単一画像超解像(SISR)モデルに取り組むために提案される。
ARMは,(1)異なる大きさのSISRネットワークで異なる画像パッチの性能,(2)再構成画像の計算オーバーヘッドと性能との間にはトレードオフがあり,(3)入力画像が与えられた場合,そのエッジ情報はPSNRを推定する有効な選択肢となる。
論文 参考訳(メタデータ) (2022-03-21T09:06:26Z) - Learning Deep Context-Sensitive Decomposition for Low-Light Image
Enhancement [58.72667941107544]
典型的なフレームワークは、照明と反射を同時に推定することであるが、特徴空間にカプセル化されたシーンレベルの文脈情報を無視する。
本研究では,空間スケールにおけるシーンレベルのコンテキスト依存を生かした,コンテキスト依存型分解ネットワークアーキテクチャを提案する。
チャネル数を減らして軽量なCSDNet(LiteCSDNet)を開発する。
論文 参考訳(メタデータ) (2021-12-09T06:25:30Z) - UniNet: Unified Architecture Search with Convolution, Transformer, and
MLP [62.401161377258234]
本稿では,コンボリューション,トランスフォーマー,COCOの最適組み合わせを共同で探索し,一連の全演算型ネットワークアーキテクチャを構築することを提案する。
広範に使われているストリップド・コンボリューション (strided convolution) あるいはプール・ベース・ダウンサンプリング・モジュールは,演算子を結合してネットワークを形成する場合,性能上のボトルネックとなる。
変換器と演算子によって捕捉されるグローバルなコンテキストによりよく対処するために,2つの新しいコンテキスト対応ダウンサンプリングモジュールを提案する。
論文 参考訳(メタデータ) (2021-10-08T11:09:40Z) - Del-Net: A Single-Stage Network for Mobile Camera ISP [14.168130234198467]
スマートフォンカメラにおける従来の画像信号処理(ISP)パイプラインは、原センサーデータから高品質のsRGBイメージを順次再構成するための画像処理ステップで構成されている。
畳み込みニューラルネットワーク(CNN)を用いたディープラーニング手法は、画像のデノイング、コントラストの強化、超解像、デブロアリングなど、多くの画像関連タスクの解決に人気がある。
本稿では,スマートフォンの展開に適した複雑さでISPパイプライン全体を学ぶために,単一のエンドツーエンドディープラーニングモデルであるDelNetを提案する。
論文 参考訳(メタデータ) (2021-08-03T16:51:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。