論文の概要: DRL-ISP: Multi-Objective Camera ISP with Deep Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2207.03081v1
- Date: Thu, 7 Jul 2022 04:34:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-08 12:55:00.403785
- Title: DRL-ISP: Multi-Objective Camera ISP with Deep Reinforcement Learning
- Title(参考訳): DRL-ISP: 深層強化学習型多目的カメラISP
- Authors: Ukcheol Shin, Kyunghyun Lee, In So Kweon
- Abstract要約: 本稿では,Deep Reinforcement Learning(DRL)とカメラISPツールボックスを利用するカメラISPフレームワークを提案する。
DRLベースのカメラISPフレームワークは、ツールボックスから適切なツールを反復的に選択し、画像に適用して、与えられた視覚タスク固有の報酬関数を最大化する。
提案するDRLベースのISPフレームワークは,RAW-to-RGB画像復元,2次元物体検出,単眼深度推定などの視覚タスクに応じて,画像品質を効果的に向上する。
- 参考スコア(独自算出の注目度): 82.4114562598703
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we propose a multi-objective camera ISP framework that
utilizes Deep Reinforcement Learning (DRL) and camera ISP toolbox that consist
of network-based and conventional ISP tools. The proposed DRL-based camera ISP
framework iteratively selects a proper tool from the toolbox and applies it to
the image to maximize a given vision task-specific reward function. For this
purpose, we implement total 51 ISP tools that include exposure correction,
color-and-tone correction, white balance, sharpening, denoising, and the
others. We also propose an efficient DRL network architecture that can extract
the various aspects of an image and make a rigid mapping relationship between
images and a large number of actions. Our proposed DRL-based ISP framework
effectively improves the image quality according to each vision task such as
RAW-to-RGB image restoration, 2D object detection, and monocular depth
estimation.
- Abstract(参考訳): 本稿では,Deep Reinforcement Learning(DRL)と,ネットワークベースおよび従来型のISPツールからなるカメラISPツールボックスを利用する多目的カメラISPフレームワークを提案する。
提案するdrlベースのカメラispフレームワークは、ツールボックスから適切なツールを反復的に選択し、所定の視覚タスク固有の報酬関数を最大化するために画像に適用する。
この目的のために、露光補正、色と音の補正、ホワイトバランス、シャープニング、デノーミングなどを含む51のISPツールを実装した。
また、画像の様々な側面を抽出し、画像と多数のアクションの厳密なマッピング関係を作ることができる効率的なDRLネットワークアーキテクチャを提案する。
提案するDRLベースのISPフレームワークは,RAW-to-RGB画像復元,2次元物体検出,単眼深度推定などの視覚タスクに応じて,画像品質を効果的に向上する。
関連論文リスト
- Parameter-Inverted Image Pyramid Networks [49.35689698870247]
Inverted Image Pyramid Networks (PIIP) と呼ばれる新しいネットワークアーキテクチャを提案する。
私たちの中核となる考え方は、パラメータサイズの異なるモデルを使用して、画像ピラミッドの解像度の異なるレベルを処理することです。
PIIPは、オブジェクト検出、セグメンテーション、画像分類などのタスクにおいて優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-06-06T17:59:10Z) - LW-ISP: A Lightweight Model with ISP and Deep Learning [17.972611191715888]
ISPパイプラインにおけるリアルタイム高速処理を実現するための学習ベース手法の可能性を示す。
RAWデータからRGB画像へのイメージマッピングを暗黙的に学習する新しいアーキテクチャであるLW-ISPを提案する。
実験により、LW-ISPはPSNRの0.38dB改善を達成した。
論文 参考訳(メタデータ) (2022-10-08T04:00:03Z) - Learning Deep Context-Sensitive Decomposition for Low-Light Image
Enhancement [58.72667941107544]
典型的なフレームワークは、照明と反射を同時に推定することであるが、特徴空間にカプセル化されたシーンレベルの文脈情報を無視する。
本研究では,空間スケールにおけるシーンレベルのコンテキスト依存を生かした,コンテキスト依存型分解ネットワークアーキテクチャを提案する。
チャネル数を減らして軽量なCSDNet(LiteCSDNet)を開発する。
論文 参考訳(メタデータ) (2021-12-09T06:25:30Z) - ReconfigISP: Reconfigurable Camera Image Processing Pipeline [75.46902933531247]
Image Signal Processor(ISP)は、センサー信号を画像に変換するデジタルカメラにおいて、知覚と理解のために重要なコンポーネントである。
既存のISP設計では、固定されたアーキテクチャ(例えば、厳密な順序で接続されたいくつかのシーケンシャルなモジュール)が常に採用されている。
本研究では,Reconfigurable ISP(Reconfigurable ISP)を提案する。
論文 参考訳(メタデータ) (2021-09-10T09:56:43Z) - Robust super-resolution depth imaging via a multi-feature fusion deep
network [2.351601888896043]
単一光子感度検出器(SPAD)アレイによる光検出・測光(LIDAR)は、高フレームレートで深度画像の取得を可能にする新興技術である。
我々は、カメラのヒストグラムデータから抽出できる複数の特徴を活用するために構築されたディープネットワークを開発する。
ネットワークを様々な3Dデータに適用し,デノナイジングと4倍の解像度の深度向上を実証する。
論文 参考訳(メタデータ) (2020-11-20T14:24:12Z) - PlenoptiCam v1.0: A light-field imaging framework [8.467466998915018]
光界カメラは狭帯域深度センシングアプリケーションにおいてリッチな3次元情報検索において重要な役割を担っている。
レンズカメラによる露光から光フィールドを構成する際の重要な障害は、4次元画像データを計算的に調整し、調整し、再配置することである。
特定の望遠カメラ専用のパイプラインを調整することで、全体的な画質を向上させるためのいくつかの試みが提案されている。
論文 参考訳(メタデータ) (2020-10-14T09:23:18Z) - AWNet: Attentive Wavelet Network for Image ISP [14.58067200317891]
本稿では,この学習可能な画像ISP問題に対処するために,AWNetと呼ばれるアテンション機構とウェーブレット変換を利用する新しいネットワークを提案する。
提案手法により,RAW情報から好意的な画像の詳細を復元し,より広い受容領域を実現することができる。
実験結果から,定性的,定量的両測定における設計の進歩が示唆された。
論文 参考訳(メタデータ) (2020-08-20T23:28:41Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-03-27T21:28:54Z) - Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。
ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。
提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文 参考訳(メタデータ) (2020-03-15T11:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。