論文の概要: Transfer CLIP for Generalizable Image Denoising

• arxiv url: http://arxiv.org/abs/2403.15132v1
• Date: Fri, 22 Mar 2024 11:33:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 17:38:51.142722
• Title: Transfer CLIP for Generalizable Image Denoising
• Title（参考訳）: 一般化可能な画像復調のための転送CLIP
• Authors: Jun Cheng, Dong Liang, Shan Tan,
• Abstract要約: ノイズ画像を含む高密度特徴を含む非対称エンコーダデコーダデノイズネットワークを考案する。 合成ノイズ,実世界のsRGBノイズ,低線量CT画像ノイズを含む多様なOODノイズに対する実験と比較を行った結果,本手法の優れた一般化能力が示された。
• 参考スコア（独自算出の注目度）: 11.144858989063522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image denoising is a fundamental task in computer vision. While prevailing deep learning-based supervised and self-supervised methods have excelled in eliminating in-distribution noise, their susceptibility to out-of-distribution (OOD) noise remains a significant challenge. The recent emergence of contrastive language-image pre-training (CLIP) model has showcased exceptional capabilities in open-world image recognition and segmentation. Yet, the potential for leveraging CLIP to enhance the robustness of low-level tasks remains largely unexplored. This paper uncovers that certain dense features extracted from the frozen ResNet image encoder of CLIP exhibit distortion-invariant and content-related properties, which are highly desirable for generalizable denoising. Leveraging these properties, we devise an asymmetrical encoder-decoder denoising network, which incorporates dense features including the noisy image and its multi-scale features from the frozen ResNet encoder of CLIP into a learnable image decoder to achieve generalizable denoising. The progressive feature augmentation strategy is further proposed to mitigate feature overfitting and improve the robustness of the learnable decoder. Extensive experiments and comparisons conducted across diverse OOD noises, including synthetic noise, real-world sRGB noise, and low-dose CT image noise, demonstrate the superior generalization ability of our method.
• Abstract（参考訳）: 画像の復調はコンピュータビジョンの基本的な課題である。 ディープ・ラーニングに基づく教師付き・自己監督型の手法は、分散ノイズの除去に優れてきたが、アウト・オブ・ディストリビューション(OOD)ノイズへの感受性は依然として大きな課題である。 対照的な言語イメージ事前学習(CLIP)モデルが最近出現し、オープンワールド画像認識とセグメンテーションにおいて例外的な能力を示した。 しかし、低レベルのタスクの堅牢性を高めるためにCLIPを活用する可能性は、まだ明らかにされていない。 本稿では,CLIP の凍結した ResNet 画像エンコーダから抽出した特定の高密度特徴が歪み不変性および内容関連性を示し,一般化可能な復調性を示す。 これらの特性を活用することで,CLIPの凍結したResNetエンコーダから高次特徴を含む高次特徴を学習可能な画像デコーダに組み込んだ非対称エンコーダデノーズネットワークを考案し,一般化可能なデノーズを実現する。 プログレッシブな機能拡張戦略は、学習可能なデコーダの頑健さを緩和し、機能オーバーフィットを軽減するためにさらに提案される。 合成ノイズ,実世界のsRGBノイズ,低線量CT画像ノイズなど多種多様なOODノイズに対する大規模な実験と比較を行った結果,本手法のより優れた一般化能が示された。

関連論文リスト

• Joint End-to-End Image Compression and Denoising: Leveraging Contrastive Learning and Multi-Scale Self-ONNs [18.71504105967766]
  ノイズの圧縮が本質的に困難であるため,ノイズ画像は画像圧縮アルゴリズムの課題である。 本稿では,共同画像圧縮・復号化のための自己組織型オペレーショナルニューラルネットワークからなるマルチスケールデノイザの統合手法を提案する。
  論文  参考訳（メタデータ） (2024-02-08T11:33:16Z)
• Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
  低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。 これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。 まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。 次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
  論文  参考訳（メタデータ） (2023-05-17T13:56:48Z)
• CurvPnP: Plug-and-play Blind Image Restoration with Deep Curvature Denoiser [7.442030347967277]
  既存のプラグアンドプレイ画像復元法は、非盲検に設計されている。 本稿では,より複雑な画像復元問題に対処できる,視覚障害者のための新しい枠組みを提案する。 本モデルでは,ノイズレベルが異なる場合でも,微細な構造を再現できることが示されている。
  論文  参考訳（メタデータ） (2022-11-14T11:30:24Z)
• Deep Semantic Statistics Matching (D2SM) Denoising Network [70.01091467628068]
  本稿では,Deep Semantic Statistics Matching (D2SM) Denoising Networkを紹介する。 事前訓練された分類ネットワークの意味的特徴を利用して、意味的特徴空間における明瞭な画像の確率的分布と暗黙的に一致させる。 識別画像のセマンティックな分布を学習することで,ネットワークの認知能力を大幅に向上させることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-07-19T14:35:42Z)
• Zero-shot Blind Image Denoising via Implicit Neural Representations [77.79032012459243]
  暗黙的ニューラル表現(INR)のアーキテクチャ的帰納的バイアスを利用した代替的認知戦略を提案する。 提案手法は,低雑音シナリオや実雑音シナリオの広い範囲において,既存のゼロショット復調手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T12:46:36Z)
• Practical Blind Image Denoising via Swin-Conv-UNet and Data Synthesis [148.16279746287452]
  本研究では,残差畳み込み層の局所モデリング能力とスウィントランスブロックの非局所モデリング能力を組み込むスウィンコンブブロックを提案する。 トレーニングデータ合成のために,異なる種類のノイズを考慮した実用的なノイズ劣化モデルの設計を行う。 AGWN除去と実画像復号化の実験は、新しいネットワークアーキテクチャ設計が最先端の性能を達成することを実証している。
  論文  参考訳（メタデータ） (2022-03-24T18:11:31Z)
• Reconstructing the Noise Manifold for Image Denoising [56.562855317536396]
  本稿では,画像ノイズ空間の構造を明示的に活用するcGANを提案する。 画像ノイズの低次元多様体を直接学習することにより、この多様体にまたがる情報のみをノイズ画像から除去する。 我々の実験に基づいて、我々のモデルは既存の最先端アーキテクチャを大幅に上回っている。
  論文  参考訳（メタデータ） (2020-02-11T00:31:31Z)
• Variational Denoising Network: Toward Blind Noise Modeling and Removal [59.36166491196973]
  ブラインド画像のデノイングはコンピュータビジョンにおいて重要な問題であるが、非常に難しい問題である。 本稿では,ノイズ推定と画像デノーミングを併用した新しい変分推論手法を提案する。
  論文  参考訳（メタデータ） (2019-08-29T15:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。