論文の概要: Seeing the Unseen: A Frequency Prompt Guided Transformer for Image Restoration

• arxiv url: http://arxiv.org/abs/2404.00288v1
• Date: Sat, 30 Mar 2024 08:42:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 04:30:18.843478
• Title: Seeing the Unseen: A Frequency Prompt Guided Transformer for Image Restoration
• Title（参考訳）: 画像復元のための周波数プロンプトガイド変換器
• Authors: Shihao Zhou, Jinshan Pan, Jinglei Shi, Duosheng Chen, Lishen Qu, Jufeng Yang,
• Abstract要約: 本研究では,FProと呼ばれる周波数プロンプト画像復元手法を開発し,この手法により周波数パースペクティブ・コンポーネントを効果的に提供し,復元モデルを誘導する。 5つの画像復元作業において,SOTA法に対するパイプラインの良好な性能を示す実験結果が得られた。
• 参考スコア（独自算出の注目度）: 44.35766203309201
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How to explore useful features from images as prompts to guide the deep image restoration models is an effective way to solve image restoration. In contrast to mining spatial relations within images as prompt, which leads to characteristics of different frequencies being neglected and further remaining subtle or undetectable artifacts in the restored image, we develop a Frequency Prompting image restoration method, dubbed FPro, which can effectively provide prompt components from a frequency perspective to guild the restoration model address these differences. Specifically, we first decompose input features into separate frequency parts via dynamically learned filters, where we introduce a gating mechanism for suppressing the less informative elements within the kernels. To propagate useful frequency information as prompt, we then propose a dual prompt block, consisting of a low-frequency prompt modulator (LPM) and a high-frequency prompt modulator (HPM), to handle signals from different bands respectively. Each modulator contains a generation process to incorporate prompting components into the extracted frequency maps, and a modulation part that modifies the prompt feature with the guidance of the decoder features. Experimental results on commonly used benchmarks have demonstrated the favorable performance of our pipeline against SOTA methods on 5 image restoration tasks, including deraining, deraindrop, demoir\'eing, deblurring, and dehazing. The source code and pre-trained models will be available at https://github.com/joshyZhou/FPro.
• Abstract（参考訳）: 深部画像復元モデルの指針となる画像から有用な特徴を探索する方法は、画像復元を効果的に解く方法である。 画像内の空間的関係をプロンプトとして抽出するのとは対照的に, 異なる周波数の特性が無視され, さらに微妙で検出不能なアーチファクトが復元された画像に残されているのに対して, FProと呼ばれる周波数プロンプト画像復元法が開発され, それらの相違点に対処するために, 周波数パースペクティブコンポーネントを効果的に提供することができる。 具体的には、入力特徴を動的に学習したフィルタにより、まず周波数部分に分解し、カーネル内の低情報要素を抑えるゲーティング機構を導入する。 そこで我々は,低周波プロンプト変調器 (LPM) と高周波プロンプト変調器 (HPM) の2つのプロンプトブロックを提案し,それぞれ異なる帯域からの信号を処理する。 各変調器は、抽出された周波数マップにプロンプト成分を組み込む生成工程と、デコーダ特徴のガイダンスでプロンプト特徴を変更する変調部とを含む。 一般的なベンチマークによる実験結果から,デライニング,デラインドロップ,ディシエリング,デブロアリング,デヘイズを含む5つの画像修復タスクにおいて,SOTA法に対するパイプラインの性能が良好であることが確認された。 ソースコードと事前トレーニングされたモデルはhttps://github.com/joshyZhou/FPro.comで入手できる。

関連論文リスト

• Learning Frequency-Aware Dynamic Transformers for All-In-One Image Restoration [15.561713188178455]
  本稿では,先進視覚変換器を利用したオールインワン画像復元手法を提案する。 本手法は,周波数認識型事前学習変圧器(Dformer)と劣化適応再生変圧器(Rformer)の2つの主成分からなる。
  論文  参考訳（メタデータ） (2024-06-30T13:14:44Z)
• MFDNet: Multi-Frequency Deflare Network for Efficient Nighttime Flare Removal [39.70102431268123]
  ラプラシアンピラミッドに基づくMFDNet(MFDNet)を提案する。 我々のネットワークは、フレア崩壊した画像を低周波帯と高周波帯に分解し、画像内の照明と内容情報を効果的に分離する。 実験により,本手法は実空間および合成画像の夜間フレア除去において,最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-06-26T05:31:36Z)
• AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation [99.57024606542416]
  周波数マイニングと変調に基づく適応的なオールインワン画像復元ネットワークを提案する。 我々のアプローチは、異なる周波数サブバンド上の画像内容に異なる劣化タイプが影響を及ぼすという観察によって動機付けられている。 提案モデルでは,入力劣化に応じて情報周波数サブバンドをアクセントすることで適応的再構成を実現する。
  論文  参考訳（メタデータ） (2024-03-21T17:58:14Z)
• PromptRR: Diffusion Models as Prompt Generators for Single Image Reflection Removal [138.38229287266915]
  既存のシングルイメージリフレクション除去法(SIRR)は、画像のキー低周波(LF)と高周波(HF)の違いを見逃す傾向がある。 本稿では、周波数情報を新しい視覚的プロンプトとして利用し、反射性能を向上する新しいプロンプト誘導反射除去フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-04T07:11:10Z)
• A cross Transformer for image denoising [83.68175077524111]
  直列ブロック(SB)、並列ブロック(PB)、残留ブロック(RB)を備えたクロストランスフォーマー(CTNet)を提案する。 CTNetは、実画像や合成画像のデノナイジングにおいて、一般的なデノナイジング法よりも優れている。
  論文  参考訳（メタデータ） (2023-10-16T13:53:19Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• Wavelet-Based Network For High Dynamic Range Imaging [64.66969585951207]
  光学フローベースやエンド・ツー・エンドのディープラーニングベースのソリューションのような既存の方法は、詳細な復元やゴーストを除去する際にエラーを起こしやすい。 本研究では、周波数領域でHDR融合を行うための新しい周波数誘導型エンド・ツー・エンドディープニューラルネットワーク(FNet)を提案し、ウェーブレット変換(DWT)を用いて入力を異なる周波数帯域に分解する。 低周波信号は特定のゴーストアーティファクトを避けるために使用され、高周波信号は詳細を保存するために使用される。
  論文  参考訳（メタデータ） (2021-08-03T12:26:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。