論文の概要: Deep Contrastive Patch-Based Subspace Learning for Camera Image Signal Processing

• arxiv url: http://arxiv.org/abs/2104.00253v4
• Date: Tue, 3 Oct 2023 14:48:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 11:33:22.206809
• Title: Deep Contrastive Patch-Based Subspace Learning for Camera Image Signal Processing
• Title（参考訳）: カメラ画像信号処理のための深部コントラストパッチに基づく部分空間学習
• Authors: Yunhao Yang, Yi Wang, Chandrajit Bajaj
• Abstract要約: 我々は、カメラISPを改良し、異質なアーティファクトに対して堅牢なパッチベースのローカルサブスペースディープニューラルネットワークを提案する。 Patch Subspace Learning Autoencoder (PSL-AE) と呼ぶ。 PSL-AEは、コントラスト学習によって、異なるアーティファクトタイプや歪みレベルを持つ、ノイズの多い第2クリーンイメージペアから抽出されたパッチを符号化する。
• 参考スコア（独自算出の注目度）: 5.678834480723395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Camera Image Signal Processing (ISP) pipelines can get appealing results in different image signal processing tasks. Nonetheless, the majority of these methods, including those employing an encoder-decoder deep architecture for the task, typically utilize a uniform filter applied consistently across the entire image. However, it is natural to view a camera image as heterogeneous, as the color intensity and the artificial noise are distributed vastly differently, even across the two-dimensional domain of a single image. Varied Moire ringing, motion blur, color-bleaching, or lens-based projection distortions can all potentially lead to a heterogeneous image artifact filtering problem. In this paper, we present a specific patch-based, local subspace deep neural network that improves Camera ISP to be robust to heterogeneous artifacts (especially image denoising). We call our three-fold deep-trained model the Patch Subspace Learning Autoencoder (PSL-AE). The PSL-AE model does not make assumptions regarding uniform levels of image distortion. Instead, it first encodes patches extracted from noisy a nd clean image pairs, with different artifact types or distortion levels, by contrastive learning. Then, the patches of each image are encoded into corresponding soft clusters within their suitable latent sub-space, utilizing a prior mixture model. Furthermore, the decoders undergo training in an unsupervised manner, specifically trained for the image patches present in each cluster. The experiments highlight the adaptability and efficacy through enhanced heterogeneous filtering, both from synthesized artifacts but also realistic SIDD image pairs.
• Abstract（参考訳）: カメラ画像信号処理(isp)パイプラインは、異なる画像信号処理タスクで魅力的な結果を得ることができる。 それでも、タスクにエンコーダ-デコーダ深層アーキテクチャを使用するものを含むこれらのメソッドの大部分は、通常、画像全体に一貫して適用される一様フィルタを使用する。 しかし、色強度と人工雑音が1枚の画像の2次元領域にわたっても大きく異なるため、カメライメージを異種と見なすことは自然である。 様々なモアレリング、動きのぼやけ、カラーブレッシング、レンズベースの投影歪みは、すべて異種画像アーティファクトフィルタリング問題を引き起こす可能性がある。 本稿では,カメラISPが不均一なアーティファクト(特に画像デノイング)に対して堅牢であるように改良された,特定のパッチベースの局所部分空間ディープニューラルネットワークを提案する。 私たちは3次元深層学習モデルであるpatch subspace learning autoencoder (psl-ae) と呼んでいる。 PSL-AEモデルは画像歪みの均一なレベルについて仮定しない。 代わりに、コントラスト学習によって、異なるアーティファクトタイプや歪みレベルを持つ、ノイズの多い第2クリーンイメージペアから抽出されたパッチをコード化する。 次に、各画像のパッチを対応する潜在サブ空間内のソフトクラスタに符号化し、先行混合モデルを利用する。 さらに、デコーダは教師なしの方法でトレーニングを受け、特に各クラスタに存在するイメージパッチのためにトレーニングされる。 実験では、合成された人工物と現実的なSIDDイメージペアの両方から、改良された異種フィルタリングによる適応性と有効性を強調した。

関連論文リスト

• Learning deep illumination-robust features from multispectral filter array images [0.5439020425819]
  マルチスペクトル(MS)スナップショットカメラは、1枚のショットで複数のスペクトルバンドをキャプチャし、各ピクセルが1つのチャネル値しか持たない生画像を生成する。 完全定義MS画像のトレーニングは、特にディープニューラルネットワーク(DNN)を用いて、計算集約的に行うことができる 本稿では,原画像から識別・照度特性を学習するための独自のアプローチを提案する。
  論文  参考訳（メタデータ） (2024-07-22T08:35:41Z)
• Neural Spline Fields for Burst Image Fusion and Layer Separation [40.9442467471977]
  ニューラルスプライン場を用いた2層α合成画像とフローモデルを用いた多目的中間表現を提案する。 提案手法では, バースト画像を高分解能な再構成に融合し, 透過層と閉塞層に分解することができる。 後処理のステップや事前学習がないため、当社の一般化可能なモデルは、既存の専用イメージやマルチビューの障害物除去アプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-12-21T18:54:19Z)
• Aperture Diffraction for Compact Snapshot Spectral Imaging [27.321750056840706]
  我々は、Aperture Diffraction Imaging Spectrometer (ADIS) という、コンパクトで費用効率の良いスナップショット分光画像システムを紹介した。 モザイクフィルタセンサ上の離散符号化位置にオブジェクト空間の各点を多重化する新しい光学設計を導入する。 回折変性を強く知覚するカスケードシフトシャッフルスペクトル変換器(CSST)は、空間制約の逆問題を解決するために設計されている。
  論文  参考訳（メタデータ） (2023-09-27T16:48:46Z)
• Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering [84.37776381343662]
  Mip-NeRFは、スケール情報をエンコードする円錐フラストラムとしてマルチスケール表現を提案する。 我々は,リアルタイムなアンチエイリアスレンダリングのためのマルチスケールな明示的表現であるmip voxel grids (Mip-VoG)を提案する。 私たちのアプローチは、マルチスケールのトレーニングとリアルタイムのアンチエイリアスレンダリングを同時に提供する最初の方法です。
  論文  参考訳（メタデータ） (2023-04-20T04:05:22Z)
• Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
  本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。 まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。 本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
  論文  参考訳（メタデータ） (2023-02-16T10:40:55Z)
• Recursive Self-Improvement for Camera Image and Signal Processing Pipeline [6.318974730864278]
  現在のカメラ画像と信号処理パイプライン(ISP)は、画像全体に一様に適用される単一のフィルタを適用する傾向がある。 これは、ほとんどの取得したカメラ画像が空間的に異質なアーティファクトを持っているにもかかわらずである。 学習された潜在部分空間で動作する深層強化学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-11-15T02:23:40Z)
• Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
  空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。 本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
  論文  参考訳（メタデータ） (2021-08-19T11:02:25Z)
• Ensembling with Deep Generative Views [72.70801582346344]
  生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。 そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。 StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
  論文  参考訳（メタデータ） (2021-04-29T17:58:35Z)
• Beyond Joint Demosaicking and Denoising: An Image Processing Pipeline for a Pixel-bin Image Sensor [0.883717274344425]
  Pixel binningは、スマートフォンカメラのハードウェア制限に対処する最も顕著なソリューションの1つだと考えられている。 本稿では,新しい学習手法を導入することで,このような画像センサ上でのJDD(Joint Desaicing and Denoising)の課題に対処する。 提案手法は,視覚可能な画像を生成するための2つの新しい知覚損失を含む多項目的関数によって導かれる。
  論文  参考訳（メタデータ） (2021-04-19T15:41:28Z)
• Designing a Practical Degradation Model for Deep Blind Image Super-Resolution [134.9023380383406]
  単一画像スーパーレゾリューション (sisr) 法は, 推定劣化モデルが実画像から逸脱した場合はうまく動作しない。 本稿では, ランダムにシャッフルされたブラー, ダウンサンプリング, ノイズ劣化からなる, より複雑で実用的な劣化モデルを提案する。
  論文  参考訳（メタデータ） (2021-03-25T17:40:53Z)
• SIR: Self-supervised Image Rectification via Seeing the Same Scene from Multiple Different Lenses [82.56853587380168]
  本稿では、異なるレンズからの同一シーンの歪み画像の補正結果が同一であるべきという重要な知見に基づいて、新しい自己監督画像補正法を提案する。 我々は、歪みパラメータから修正画像を生成し、再歪み画像を生成するために、微分可能なワープモジュールを利用する。 本手法は,教師付きベースライン法や代表的最先端手法と同等あるいはそれ以上の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-30T08:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。