論文の概要: Learning Degradation-Independent Representations for Camera ISP Pipelines

• arxiv url: http://arxiv.org/abs/2307.00761v3
• Date: Sat, 16 Mar 2024 21:59:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 04:12:33.522297
• Title: Learning Degradation-Independent Representations for Camera ISP Pipelines
• Title（参考訳）: カメラISPパイプラインの劣化非依存表現の学習
• Authors: Yanhui Guo, Fangzhou Luo, Xiaolin Wu,
• Abstract要約: 本稿では, 自己教師付き学習ベースライン表現の洗練を通じて, 劣化非依存表現(DiR)を学習するための新しい手法を提案する。 提案手法はドメイン一般化能力に優れ,様々なダウンストリームタスクにおいて最先端の手法よりも優れる。
• 参考スコア（独自算出の注目度）: 14.195578257521934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image signal processing (ISP) pipeline plays a fundamental role in digital cameras, which converts raw Bayer sensor data to RGB images. However, ISP-generated images usually suffer from imperfections due to the compounded degradations that stem from sensor noises, demosaicing noises, compression artifacts, and possibly adverse effects of erroneous ISP hyperparameter settings such as ISO and gamma values. In a general sense, these ISP imperfections can be considered as degradations. The highly complex mechanisms of ISP degradations, some of which are even unknown, pose great challenges to the generalization capability of deep neural networks (DNN) for image restoration and to their adaptability to downstream tasks. To tackle the issues, we propose a novel DNN approach to learn degradation-independent representations (DiR) through the refinement of a self-supervised learned baseline representation. The proposed DiR learning technique has remarkable domain generalization capability and consequently, it outperforms state-of-the-art methods across various downstream tasks, including blind image restoration, object detection, and instance segmentation, as verified in our experiments.
• Abstract（参考訳）: 画像信号処理(ISP)パイプラインはデジタルカメラにおいて基本的な役割を担い、生のベイアセンサデータをRGB画像に変換する。 しかし、ISP生成画像は、センサノイズ、分解ノイズ、圧縮アーティファクト、ISOやガンマ値などの誤ったISPハイパーパラメータ設定による悪影響から生じる複合劣化により、通常不完全性に悩まされる。 一般的な意味では、これらのISPの欠陥は劣化と見なすことができる。 ISP劣化の非常に複雑なメカニズムは、画像復元のためのディープニューラルネットワーク(DNN)の一般化能力と、下流タスクへの適応性に大きな課題をもたらす。 そこで本研究では, 自己教師付き学習ベースライン表現の洗練を通じて, 劣化非依存表現(DiR)を学習するための新しいDNN手法を提案する。 提案手法は領域一般化能力に優れており,本実験で検証したブラインド画像復元,オブジェクト検出,インスタンスセグメンテーションなど,さまざまな下流タスクにおける最先端の手法よりも優れている。

関連論文リスト

• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• Physics-Driven Turbulence Image Restoration with Stochastic Refinement [80.79900297089176]
  大気乱流による画像歪みは、長距離光学画像システムにおいて重要な問題である。 ディープラーニングモデルが現実世界の乱流条件に適応するために、高速で物理学的なシミュレーションツールが導入された。 本稿では,物理統合復元ネットワーク(PiRN)を提案する。
  論文  参考訳（メタデータ） (2023-07-20T05:49:21Z)
• An Empirical Study of Remote Sensing Pretraining [117.90699699469639]
  本研究では,空中画像におけるリモートセンシング事前訓練(RSP)の実証的研究を行った。 RSPは、シーン認識タスクで特有のパフォーマンスを提供するのに役立つ。 RSPは、従来のイメージネットがRS画像に事前学習する際のデータ格差を緩和するが、それでもタスクの相違に悩まされる可能性がある。
  論文  参考訳（メタデータ） (2022-04-06T13:38:11Z)
• Transformer-based SAR Image Despeckling [53.99620005035804]
  本稿では,SAR画像復号化のためのトランスフォーマーネットワークを提案する。 提案する非特定ネットワークは、トランスフォーマーベースのエンコーダにより、異なる画像領域間のグローバルな依存関係を学習することができる。 実験により,提案手法は従来型および畳み込み型ニューラルネットワークに基づく解法よりも大幅に改善されていることが示された。
  論文  参考訳（メタデータ） (2022-01-23T20:09:01Z)
• Frequency-Aware Physics-Inspired Degradation Model for Real-World Image Super-Resolution [18.328806055594576]
  両光およびセンサ劣化を考慮した実世界の物理インスパイアされた劣化モデルについて定式化する。 我々は、畳み込みニューラルネットワーク(CNN)を用いて、現実世界の劣化過程の遮断周波数を学習することを提案する。 異なる撮像システムで撮像した実世界の画像に対して,提案した劣化モデルの有効性と一般化能力を評価する。
  論文  参考訳（メタデータ） (2021-11-05T07:30:00Z)
• Improving Super-Resolution Performance using Meta-Attention Layers [17.870338228921327]
  畳み込みニューラルネットワーク(CNN)は多くの超解像(SR)と画像復元タスクで素晴らしい結果を得た。 SRのIll-posed性質は、複数の異なる劣化を経た画像を正確に超解き出すのを難しくする。 メタアテンション(メタアテンション)は、任意のSR CNNが関連する劣化パラメータで利用可能な情報を活用できるようにするメカニズムである。
  論文  参考訳（メタデータ） (2021-10-27T09:20:21Z)
• RBSRICNN: Raw Burst Super-Resolution through Iterative Convolutional Neural Network [23.451063587138393]
  RBSRICNN(Row Burst Super-Resolution Iterative Convolutional Neural Network)を提案する。 提案したネットワークは、中間SR推定を反復的に洗練することにより最終的な出力を生成する。 定量的および定性的な実験において提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-10-25T19:01:28Z)
• Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
  空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。 本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
  論文  参考訳（メタデータ） (2021-08-19T11:02:25Z)
• Del-Net: A Single-Stage Network for Mobile Camera ISP [14.168130234198467]
  スマートフォンカメラにおける従来の画像信号処理(ISP)パイプラインは、原センサーデータから高品質のsRGBイメージを順次再構成するための画像処理ステップで構成されている。 畳み込みニューラルネットワーク(CNN)を用いたディープラーニング手法は、画像のデノイング、コントラストの強化、超解像、デブロアリングなど、多くの画像関連タスクの解決に人気がある。 本稿では,スマートフォンの展開に適した複雑さでISPパイプライン全体を学ぶために,単一のエンドツーエンドディープラーニングモデルであるDelNetを提案する。
  論文  参考訳（メタデータ） (2021-08-03T16:51:11Z)
• Removing Diffraction Image Artifacts in Under-Display Camera via Dynamic Skip Connection Network [80.67717076541956]
  アンダーディスプレイカメラ(UDC)システムは、スマートフォン上で真のベゼルレスおよびノッチフリーの視聴体験を提供します。 典型的なUDCシステムでは、ピクセルアレイはカメラ上の入射光を減衰および回折し、画像品質の大幅な低下をもたらす。 本研究では,前述の劣化問題の解析と対処を目的とする。
  論文  参考訳（メタデータ） (2021-04-19T18:41:45Z)
• Beyond Joint Demosaicking and Denoising: An Image Processing Pipeline for a Pixel-bin Image Sensor [0.883717274344425]
  Pixel binningは、スマートフォンカメラのハードウェア制限に対処する最も顕著なソリューションの1つだと考えられている。 本稿では,新しい学習手法を導入することで,このような画像センサ上でのJDD(Joint Desaicing and Denoising)の課題に対処する。 提案手法は,視覚可能な画像を生成するための2つの新しい知覚損失を含む多項目的関数によって導かれる。
  論文  参考訳（メタデータ） (2021-04-19T15:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。