論文の概要: ReconfigISP: Reconfigurable Camera Image Processing Pipeline

• arxiv url: http://arxiv.org/abs/2109.04760v1
• Date: Fri, 10 Sep 2021 09:56:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 13:21:45.425654
• Title: ReconfigISP: Reconfigurable Camera Image Processing Pipeline
• Title（参考訳）: ReconfigISP: 再構成可能なカメライメージ処理パイプライン
• Authors: Ke Yu, Zexian Li, Yue Peng, Chen Change Loy, Jinwei Gu
• Abstract要約: Image Signal Processor(ISP)は、センサー信号を画像に変換するデジタルカメラにおいて、知覚と理解のために重要なコンポーネントである。 既存のISP設計では、固定されたアーキテクチャ(例えば、厳密な順序で接続されたいくつかのシーケンシャルなモジュール)が常に採用されている。 本研究では,Reconfigurable ISP(Reconfigurable ISP)を提案する。
• 参考スコア（独自算出の注目度）: 75.46902933531247
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image Signal Processor (ISP) is a crucial component in digital cameras that transforms sensor signals into images for us to perceive and understand. Existing ISP designs always adopt a fixed architecture, e.g., several sequential modules connected in a rigid order. Such a fixed ISP architecture may be suboptimal for real-world applications, where camera sensors, scenes and tasks are diverse. In this study, we propose a novel Reconfigurable ISP (ReconfigISP) whose architecture and parameters can be automatically tailored to specific data and tasks. In particular, we implement several ISP modules, and enable backpropagation for each module by training a differentiable proxy, hence allowing us to leverage the popular differentiable neural architecture search and effectively search for the optimal ISP architecture. A proxy tuning mechanism is adopted to maintain the accuracy of proxy networks in all cases. Extensive experiments conducted on image restoration and object detection, with different sensors, light conditions and efficiency constraints, validate the effectiveness of ReconfigISP. Only hundreds of parameters need tuning for every task.
• Abstract（参考訳）: Image Signal Processor(ISP)は、センサー信号を画像に変換するデジタルカメラにおいて重要なコンポーネントであり、私たちの知覚と理解に役立ちます。 既存のisp設計は常に固定アーキテクチャを採用しており、例えばいくつかのシーケンシャルモジュールが厳密な順序で接続されている。 このような固定ISPアーキテクチャは、カメラセンサー、シーン、タスクが多様である現実世界のアプリケーションに最適である。 本研究では,アーキテクチャやパラメータを特定のデータやタスクに自動的に調整できる,再構成可能な新しいisp (reconfigisp) を提案する。 特に、複数のISPモジュールを実装し、差別化可能なプロキシをトレーニングすることで各モジュールのバックプロパゲーションを可能にし、人気のある差別化可能なニューラルネットワーク検索を活用し、最適なISPアーキテクチャを効果的に検索することができる。 すべてのケースにおいてプロキシネットワークの精度を維持するためにプロキシチューニング機構が採用されている。 異なるセンサー、光条件、効率の制約を備えた画像復元と物体検出に関する広範な実験により、再構成の有効性が検証された。 タスクごとにチューニングが必要なパラメータは数百です。

関連論文リスト

• AdaptiveISP: Learning an Adaptive Image Signal Processor for Object Detection [15.63212587981912]
  Image Signal Processors (ISP)は、生のセンサー信号をデジタル画像に変換する。 ISPは画像品質を最大化するために設計されており、これはハイレベルコンピュータビジョンタスクのパフォーマンスに最適である。 本稿では,タスク駆動型かつシーン適応型ISPであるAdaptiveISPを提案する。
  論文  参考訳（メタデータ） (2024-10-30T11:49:06Z)
• Parameter-Inverted Image Pyramid Networks [49.35689698870247]
  Inverted Image Pyramid Networks (PIIP) と呼ばれる新しいネットワークアーキテクチャを提案する。 私たちの中核となる考え方は、パラメータサイズの異なるモデルを使用して、画像ピラミッドの解像度の異なるレベルを処理することです。 PIIPは、オブジェクト検出、セグメンテーション、画像分類などのタスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:10Z)
• Simple Image Signal Processing using Global Context Guidance [56.41827271721955]
  ディープラーニングベースのISPは、深層ニューラルネットワークを使用してRAW画像をDSLRライクなRGBイメージに変換することを目指している。 我々は,全RAW画像からグローバルなコンテキスト情報をキャプチャするために,任意のニューラルISPに統合可能な新しいモジュールを提案する。 本モデルでは,多種多様な実スマートフォン画像を用いて,様々なベンチマークで最新の結果が得られる。
  論文  参考訳（メタデータ） (2024-04-17T17:11:47Z)
• PQDynamicISP: Dynamically Controlled Image Signal Processor for Any Image Sensors Pursuing Perceptual Quality [0.5530212768657544]
  ISPのパラメータをチューニングする代わりに,各環境,さらにはローカルでも動的に制御することを提案する。 本手法では,1つのISPで複数のイメージセンサを動的制御により処理することができるが,従来の手法では各センサのトレーニングが必要であった。
  論文  参考訳（メタデータ） (2024-03-15T08:08:24Z)
• Learning Degradation-Independent Representations for Camera ISP Pipelines [14.195578257521934]
  本稿では, 自己教師付き学習ベースライン表現の洗練を通じて, 劣化非依存表現(DiR)を学習するための新しい手法を提案する。 提案手法はドメイン一般化能力に優れ,様々なダウンストリームタスクにおいて最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2023-07-03T05:38:28Z)
• ISP meets Deep Learning: A Survey on Deep Learning Methods for Image Signal Processing [0.0]
  カメラのイメージシグナルプロセッサ(ISP)全体は、カラーフィルタアレイ(CFA)センサーからデータを変換する複数のプロセスに依存している。 ディープラーニング(Deep Learning)は、その一部、あるいはひとつのニューラルネットワークを使ってISP全体を置き換えるためのソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-05-19T20:37:27Z)
• RepMode: Learning to Re-parameterize Diverse Experts for Subcellular Structure Prediction [54.69195221765405]
  生物学的研究において、蛍光染色は細胞内構造の位置と形態を明らかにする重要な技術である。 本稿では,3次元透過光画像から複数の細胞構造体の3次元蛍光画像を予測することを目的とした,細胞構造予測(subcellular structure prediction, SSP)と呼ばれる深層学習タスクをモデル化する。 本稿では,特定の単一ラベル予測タスクを処理するために,タスク認識の事前処理によってパラメータを動的に整理するネットワークRepModeを提案する。
  論文  参考訳（メタデータ） (2022-12-20T08:17:08Z)
• DynamicISP: Dynamically Controlled Image Signal Processor for Image Recognition [0.5530212768657544]
  動的ISPは、複数の古典的ISP関数から構成され、前のフレームの認識結果に応じて各フレームのパラメータを動的に制御する。 本稿では,複数のISP関数のパラメータの制御に成功し,単一および複数カテゴリのオブジェクト検出タスクにおいて,計算コストの低い最先端の精度を実現する。
  論文  参考訳（メタデータ） (2022-11-02T14:22:50Z)
• DRL-ISP: Multi-Objective Camera ISP with Deep Reinforcement Learning [82.4114562598703]
  本稿では,Deep Reinforcement Learning(DRL)とカメラISPツールボックスを利用するカメラISPフレームワークを提案する。 DRLベースのカメラISPフレームワークは、ツールボックスから適切なツールを反復的に選択し、画像に適用して、与えられた視覚タスク固有の報酬関数を最大化する。 提案するDRLベースのISPフレームワークは,RAW-to-RGB画像復元,2次元物体検出,単眼深度推定などの視覚タスクに応じて,画像品質を効果的に向上する。
  論文  参考訳（メタデータ） (2022-07-07T04:34:05Z)
• ARM: Any-Time Super-Resolution Method [72.98897502507789]
  Any-time Super-Resolution Method (ARM) は、過パラメータ化された単一画像超解像(SISR)モデルに取り組むために提案される。 ARMは,(1)異なる大きさのSISRネットワークで異なる画像パッチの性能,(2)再構成画像の計算オーバーヘッドと性能との間にはトレードオフがあり,(3)入力画像が与えられた場合,そのエッジ情報はPSNRを推定する有効な選択肢となる。
  論文  参考訳（メタデータ） (2022-03-21T09:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。