論文の概要: LW-ISP: A Lightweight Model with ISP and Deep Learning
- arxiv url: http://arxiv.org/abs/2210.03904v1
- Date: Sat, 8 Oct 2022 04:00:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 19:07:24.596394
- Title: LW-ISP: A Lightweight Model with ISP and Deep Learning
- Title（参考訳）: LW-ISP:ISPとディープラーニングを備えた軽量モデル
- Authors: Hongyang Chen and Kaisheng Ma
- Abstract要約: ISPパイプラインにおけるリアルタイム高速処理を実現するための学習ベース手法の可能性を示す。
RAWデータからRGB画像へのイメージマッピングを暗黙的に学習する新しいアーキテクチャであるLW-ISPを提案する。
実験により、LW-ISPはPSNRの0.38dB改善を達成した。
- 参考スコア（独自算出の注目度）: 17.972611191715888
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The deep learning (DL)-based methods of low-level tasks have many advantages
over the traditional camera in terms of hardware prospects, error accumulation
and imaging effects. Recently, the application of deep learning to replace the
image signal processing (ISP) pipeline has appeared one after another; however,
there is still a long way to go towards real landing. In this paper, we show
the possibility of learning-based method to achieve real-time high-performance
processing in the ISP pipeline. We propose LW-ISP, a novel architecture
designed to implicitly learn the image mapping from RAW data to RGB image.
Based on U-Net architecture, we propose the fine-grained attention module and a
plug-and-play upsampling block suitable for low-level tasks. In particular, we
design a heterogeneous distillation algorithm to distill the implicit features
and reconstruction information of the clean image, so as to guide the learning
of the student model. Our experiments demonstrate that LW-ISP has achieved a
0.38 dB improvement in PSNR compared to the previous best method, while the
model parameters and calculation have been reduced by 23 times and 81 times.
The inference efficiency has been accelerated by at least 15 times. Without
bells and whistles, LW-ISP has achieved quite competitive results in ISP
subtasks including image denoising and enhancement.
- Abstract（参考訳）: 低レベルタスクのディープラーニング(DL)ベースの手法は、ハードウェアの見通し、エラーの蓄積、撮像効果の観点から、従来のカメラよりも多くの利点がある。
近年,画像信号処理(ISP)パイプラインを置き換えるためのディープラーニングの応用が相次いでいるが,実際の着陸にはまだまだ長い道のりがある。
本稿では,ISPパイプラインにおけるリアルタイム高速処理を実現する学習手法の可能性を示す。
RAWデータからRGB画像へのイメージマッピングを暗黙的に学習する新しいアーキテクチャであるLW-ISPを提案する。
U-Netアーキテクチャに基づいて,低レベルタスクに適した細粒度アテンションモジュールとプラグアンドプレイアップサンプリングブロックを提案する。
特に,学生モデルの学習を導くために,クリーン画像の暗黙的特徴と再構成情報を蒸留するために不均一蒸留アルゴリズムを設計する。
実験の結果、lw-ispは従来の最良法に比べて0.38db改善を達成し、モデルパラメータと計算は23倍81倍短縮された。
推論効率は少なくとも15倍加速している。
ベルやホイッスルがなければ、LW-ISPは画像のデノゲーションやエンハンスメントを含むISPサブタスクにおいて、非常に競争力のある結果を得た。
関連論文リスト
- DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image
Enhancement [77.0360085530701]
水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。
従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。
提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
論文 参考訳（メタデータ） (2023-12-12T06:07:21Z) - LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion Models [54.93010869546011]
本稿では,事前学習した潜伏拡散モデルを用いて,超低照度画像の高精細化のためのニューラルISPを実現することを提案する。
具体的には、RAWドメイン上で動作するために事前訓練された潜在拡散モデルを調整するために、軽量なテーミングモジュールのセットをトレーニングする。
遅延拡散モデルにおけるUNet復調と復号化の異なる役割を観察し、低照度画像強調タスクを遅延空間低周波コンテンツ生成と復号位相高周波ディテール保守に分解するきっかけとなる。
論文 参考訳（メタデータ） (2023-12-02T04:31:51Z) - Learning Degradation-Independent Representations for Camera ISP Pipelines [14.195578257521934]
本稿では, 自己教師付き学習ベースライン表現の洗練を通じて, 劣化非依存表現(DiR)を学習するための新しい手法を提案する。
提案手法はドメイン一般化能力に優れ,様々なダウンストリームタスクにおいて最先端の手法よりも優れる。
論文 参考訳（メタデータ） (2023-07-03T05:38:28Z) - Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and
Transformer-Based Method [51.30748775681917]
低照度画像強調(LLIE)の課題を考察し,4K解像度と8K解像度の画像からなる大規模データベースを導入する。
我々は、系統的なベンチマーク研究を行い、現在のLLIEアルゴリズムと比較する。
第2のコントリビューションとして,変換器をベースとした低照度化手法であるLLFormerを紹介する。
論文 参考訳（メタデータ） (2022-12-22T09:05:07Z) - Combining Attention Module and Pixel Shuffle for License Plate
Super-Resolution [3.8831062015253055]
本研究は,低解像度・低画質画像におけるライセンスプレート(LP)再構成に焦点を当てた。
本稿では、注目/変圧器モジュールの概念を拡張したシングルイメージ超解法(SISR)アプローチを提案する。
実験では, 提案手法は, 定量的および定性的に, ベースラインよりも優れていた。
論文 参考訳（メタデータ） (2022-10-30T13:05:07Z) - Enabling ISP-less Low-Power Computer Vision [4.102254385058941]
汎用的な高レベル視覚タスクのための大規模ベンチマークの生版をリリースする。
ISPなしのCVシステムでは、生画像のトレーニングにより、テスト精度が7.1%向上する。
そこで本研究では,画素内CNN計算と組み合わせた,エネルギー効率のよいアナログインピクセル復号法を提案する。
論文 参考訳（メタデータ） (2022-10-11T13:47:30Z) - Learning Deep Context-Sensitive Decomposition for Low-Light Image
Enhancement [58.72667941107544]
典型的なフレームワークは、照明と反射を同時に推定することであるが、特徴空間にカプセル化されたシーンレベルの文脈情報を無視する。
本研究では,空間スケールにおけるシーンレベルのコンテキスト依存を生かした,コンテキスト依存型分解ネットワークアーキテクチャを提案する。
チャネル数を減らして軽量なCSDNet(LiteCSDNet)を開発する。
論文 参考訳（メタデータ） (2021-12-09T06:25:30Z) - SPI-GAN: Towards Single-Pixel Imaging through Generative Adversarial
Network [6.722629246312285]
本稿では,SPI-GANと呼ばれる一画素イメージングのための生成的対向的ネットワークベース再構成フレームワークを提案する。
サンプリング比が5%に低下しても、17.92dBのPSNRと0.487のSSIMで画像を再構成することができる。
論文 参考訳（メタデータ） (2021-07-03T03:06:09Z) - Pseudo-ISP: Learning Pseudo In-camera Signal Processing Pipeline from A
Color Image Denoiser [73.88164217509816]
雑音の差によるテスト画像の処理にカラー画像復調器を適応させる未ペア学習方式を提案する。
我々は,事前訓練されたデノイザー,テスト用ノイズ画像のセット,クリーン画像の非ペア化など,実践的なトレーニング設定を検討する。
pseudo-ispは現実的なsrgb画像の合成に有効である。
論文 参考訳（メタデータ） (2021-03-18T13:11:28Z) - BP-DIP: A Backprojection based Deep Image Prior [49.375539602228415]
画像復元手法として, (i)Deep Image Prior (DIP) と (ii) バックプロジェクション (BP) の2つの手法を提案する。
提案手法はBP-DIP(BP-DIP)と呼ばれ,高いPSNR値とより優れた推論実行時間を持つ通常のDIPよりも優れた性能を示す。
論文 参考訳（メタデータ） (2020-03-11T17:09:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。