論文の概要: Learning Deep Latent Subspaces for Image Denoising

• arxiv url: http://arxiv.org/abs/2104.00253v1
• Date: Thu, 1 Apr 2021 04:40:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 13:47:52.328315
• Title: Learning Deep Latent Subspaces for Image Denoising
• Title（参考訳）: 画像デノイジングのための深い潜在部分空間の学習
• Authors: Yunhao Yang, Yuhan Zheng, Yi Wang and Chandrajit Bajaj
• Abstract要約: 異種画像アーティファクトフィルタリング問題を解くための構造化深層学習モデルを提案する。 Patch Subspace Variational Autoencoder (PS-VAE) をカメラISP向けに深層学習モデルと呼ぶ。
• 参考スコア（独自算出の注目度）: 6.318974730864278
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Heterogeneity exists in most camera images. This heterogeneity manifests itself across the image space as varied Moire ringing, motion-blur, color-bleaching or lens based projection distortions. Moreover, combinations of these image artifacts can be present in small or large pixel neighborhoods, within an acquired image. Current camera image processing pipelines, including deep trained versions, tend to rectify the issue applying a single filter that is homogeneously applied to the entire image. This is also particularly true when an encoder-decoder type deep architecture is trained for the task. In this paper, we present a structured deep learning model that solves the heterogeneous image artifact filtering problem. We call our deep trained model the Patch Subspace Variational Autoencoder (PS-VAE) for Camera ISP. PS-VAE does not necessarily assume uniform image distortion levels nor similar artifact types within the image. Rather, our model attempts to learn to cluster different patches extracted from images into artifact type and distortion levels, within multiple latent subspaces (e.g. Moire ringing artifacts are often a higher dimensional latent distortion than a Gaussian motion blur artifact). Each image's patches are encoded into soft-clusters in their appropriate latent sub-space, using a prior mixture model. The decoders of the PS-VAE are also trained in an unsupervised manner for each of the image patches in each soft-cluster. Our experimental results demonstrates the flexibility and performance that one can achieve through improved heterogeneous filtering. We compare our results to a conventional one-encoder-one-decoder architecture.
• Abstract（参考訳）: ほとんどのカメラ画像に異質性が存在する。 この異質性は、様々なモアレリング、モーションブラリング、カラーブレッシング、レンズベースの投影歪みとして画像空間全体に現れる。 さらに、これらの画像アーティファクトの組み合わせは、取得した画像内の小さなピクセルまたは大きなピクセル近傍に存在することができる。 現在のカメラ画像処理パイプラインは、深く訓練されたバージョンを含む、画像全体に均一に適用される単一のフィルタを適用する問題を修正する傾向がある。 これは特に、エンコーダ-デコーダ型ディープアーキテクチャがタスクのためにトレーニングされたときに当てはまる。 本稿では,異種画像アーティファクトフィルタリング問題を解くための構造化深層学習モデルを提案する。 Patch Subspace Variational Autoencoder (PS-VAE) をカメラISP向けに深層学習モデルと呼ぶ。 PS-VAEは画像内の均一な歪みレベルや類似のアーチファクトタイプを前提としない。 むしろ、我々のモデルは、画像から抽出した異なるパッチを、複数の潜在部分空間(例えば、)のアーティファクトタイプと歪みレベルにクラスタリングすることを試みる。 モアレリングアーティファクトは、しばしばガウス運動のぼかしアーティファクトよりも高次元の潜在歪みである。 各画像のパッチは、以前の混合モデルを使用して、適切な潜在サブスペース内のソフトクラスタにエンコードされる。 PS-VAEのデコーダは、各ソフトクラスタ内の各イメージパッチに対して教師なしの方法で訓練される。 実験により, 改良された異種フィルタリングにより得られる柔軟性と性能を実証した。 従来の1-encoder-one-decoderアーキテクチャと比較した。

関連論文リスト

• Deep Learning Based Speckle Filtering for Polarimetric SAR Images. Application to Sentinel-1 [51.404644401997736]
  本稿では、畳み込みニューラルネットワークを用いて偏光SAR画像のスペックルを除去するための完全なフレームワークを提案する。 実験により,提案手法はスペックル低減と分解能保存の両方において例外的な結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-08-28T10:07:17Z)
• Learning deep illumination-robust features from multispectral filter array images [0.5439020425819]
  本稿では, 原画像から直接, 識別的・照明的特徴を学習するための独自のアプローチを提案する。 MS画像分類実験により,本手法は手工芸法と近年の深層学習法の両方に優れることがわかった。
  論文  参考訳（メタデータ） (2024-07-22T08:35:41Z)
• Neural Spline Fields for Burst Image Fusion and Layer Separation [40.9442467471977]
  ニューラルスプライン場を用いた2層α合成画像とフローモデルを用いた多目的中間表現を提案する。 提案手法では, バースト画像を高分解能な再構成に融合し, 透過層と閉塞層に分解することができる。 後処理のステップや事前学習がないため、当社の一般化可能なモデルは、既存の専用イメージやマルチビューの障害物除去アプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-12-21T18:54:19Z)
• Aperture Diffraction for Compact Snapshot Spectral Imaging [27.321750056840706]
  我々は、Aperture Diffraction Imaging Spectrometer (ADIS) という、コンパクトで費用効率の良いスナップショット分光画像システムを紹介した。 モザイクフィルタセンサ上の離散符号化位置にオブジェクト空間の各点を多重化する新しい光学設計を導入する。 回折変性を強く知覚するカスケードシフトシャッフルスペクトル変換器(CSST)は、空間制約の逆問題を解決するために設計されている。
  論文  参考訳（メタデータ） (2023-09-27T16:48:46Z)
• Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering [84.37776381343662]
  Mip-NeRFは、スケール情報をエンコードする円錐フラストラムとしてマルチスケール表現を提案する。 我々は,リアルタイムなアンチエイリアスレンダリングのためのマルチスケールな明示的表現であるmip voxel grids (Mip-VoG)を提案する。 私たちのアプローチは、マルチスケールのトレーニングとリアルタイムのアンチエイリアスレンダリングを同時に提供する最初の方法です。
  論文  参考訳（メタデータ） (2023-04-20T04:05:22Z)
• Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
  本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。 まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。 本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
  論文  参考訳（メタデータ） (2023-02-16T10:40:55Z)
• Recursive Self-Improvement for Camera Image and Signal Processing Pipeline [6.318974730864278]
  現在のカメラ画像と信号処理パイプライン(ISP)は、画像全体に一様に適用される単一のフィルタを適用する傾向がある。 これは、ほとんどの取得したカメラ画像が空間的に異質なアーティファクトを持っているにもかかわらずである。 学習された潜在部分空間で動作する深層強化学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-11-15T02:23:40Z)
• Ensembling with Deep Generative Views [72.70801582346344]
  生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。 そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。 StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
  論文  参考訳（メタデータ） (2021-04-29T17:58:35Z)
• Beyond Joint Demosaicking and Denoising: An Image Processing Pipeline for a Pixel-bin Image Sensor [0.883717274344425]
  Pixel binningは、スマートフォンカメラのハードウェア制限に対処する最も顕著なソリューションの1つだと考えられている。 本稿では,新しい学習手法を導入することで,このような画像センサ上でのJDD(Joint Desaicing and Denoising)の課題に対処する。 提案手法は,視覚可能な画像を生成するための2つの新しい知覚損失を含む多項目的関数によって導かれる。
  論文  参考訳（メタデータ） (2021-04-19T15:41:28Z)
• Designing a Practical Degradation Model for Deep Blind Image Super-Resolution [134.9023380383406]
  単一画像スーパーレゾリューション (sisr) 法は, 推定劣化モデルが実画像から逸脱した場合はうまく動作しない。 本稿では, ランダムにシャッフルされたブラー, ダウンサンプリング, ノイズ劣化からなる, より複雑で実用的な劣化モデルを提案する。
  論文  参考訳（メタデータ） (2021-03-25T17:40:53Z)
• SIR: Self-supervised Image Rectification via Seeing the Same Scene from Multiple Different Lenses [82.56853587380168]
  本稿では、異なるレンズからの同一シーンの歪み画像の補正結果が同一であるべきという重要な知見に基づいて、新しい自己監督画像補正法を提案する。 我々は、歪みパラメータから修正画像を生成し、再歪み画像を生成するために、微分可能なワープモジュールを利用する。 本手法は,教師付きベースライン法や代表的最先端手法と同等あるいはそれ以上の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-30T08:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。