論文の概要: Learning Frequency-Aware Dynamic Transformers for All-In-One Image Restoration

• arxiv url: http://arxiv.org/abs/2407.01636v1
• Date: Sun, 30 Jun 2024 13:14:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 19:52:16.211795
• Title: Learning Frequency-Aware Dynamic Transformers for All-In-One Image Restoration
• Title（参考訳）: オールインワン画像復元のための周波数認識動的変換器の学習
• Authors: Zenglin Shi, Tong Su, Pei Liu, Yunpeng Wu, Le Zhang, Meng Wang,
• Abstract要約: 本稿では,先進視覚変換器を利用したオールインワン画像復元手法を提案する。 本手法は,周波数認識型事前学習変圧器(Dformer)と劣化適応再生変圧器(Rformer)の2つの主成分からなる。
• 参考スコア（独自算出の注目度）: 15.561713188178455
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This work aims to tackle the all-in-one image restoration task, which seeks to handle multiple types of degradation with a single model. The primary challenge is to extract degradation representations from the input degraded images and use them to guide the model's adaptation to specific degradation types. Recognizing that various degradations affect image content differently across frequency bands, we propose a new all-in-one image restoration approach from a frequency perspective, leveraging advanced vision transformers. Our method consists of two main components: a frequency-aware Degradation prior learning transformer (Dformer) and a degradation-adaptive Restoration transformer (Rformer). The Dformer captures the essential characteristics of various degradations by decomposing inputs into different frequency components. By understanding how degradations affect these frequency components, the Dformer learns robust priors that effectively guide the restoration process. The Rformer then employs a degradation-adaptive self-attention module to selectively focus on the most affected frequency components, guided by the learned degradation representations. Extensive experimental results demonstrate that our approach outperforms the existing methods on four representative restoration tasks, including denoising, deraining, dehazing and deblurring. Additionally, our method offers benefits for handling spatially variant degradations and unseen degradation levels.
• Abstract（参考訳）: この作業は、1つのモデルで複数のタイプの劣化を処理しようとするオールインワンのイメージ復元タスクに取り組むことを目的としている。 主な課題は、入力された劣化画像から分解表現を抽出し、モデルを特定の劣化タイプに適応させることである。 周波数帯域間で様々な劣化が画像内容に異なる影響を与えることを認識し、先進視覚変換器を応用した新しいオールインワン画像復元手法を提案する。 本手法は,周波数認識型事前学習変圧器 (Dformer) と劣化適応再生変圧器 (Rformer) の2つの主成分からなる。 Dformerは入力を異なる周波数成分に分解することで、様々な劣化の本質的な特徴を捉える。 劣化がこれらの周波数成分にどのように影響するかを理解することで、Dformerはリストアプロセスを効果的に導く堅牢な事前知識を学ぶ。 次に、Rformerは劣化適応型の自己アテンションモジュールを使用して、学習された劣化表現によって導かれる最も影響の大きい周波数成分に選択的にフォーカスする。 本手法は, 脱臭, 脱臭, 脱臭, 脱臭を含む4つの代表的な修復作業において, 従来の方法よりも優れていた。 さらに, この手法は, 空間的に変化する劣化と見えない劣化の処理に有効である。

関連論文リスト

• Bracketing Image Restoration and Enhancement with High-Low Frequency Decomposition [44.80645807358389]
  HLNetは、高周波数分解に基づくブラケット画像復元・改善手法である。 特徴抽出には,共有重みモジュールと非共有重みモジュールの2つのモジュールを用いる。 非共有重みモジュールでは、低周波情報を扱うために異なる手法を用いるHLFDB(High-Low Frequency Decomposition Block)を導入する。
  論文  参考訳（メタデータ） (2024-04-21T05:11:37Z)
• Seeing the Unseen: A Frequency Prompt Guided Transformer for Image Restoration [44.35766203309201]
  本研究では,FProと呼ばれる周波数プロンプト画像復元手法を開発し,この手法により周波数パースペクティブ・コンポーネントを効果的に提供し,復元モデルを誘導する。 5つの画像復元作業において,SOTA法に対するパイプラインの良好な性能を示す実験結果が得られた。
  論文  参考訳（メタデータ） (2024-03-30T08:42:34Z)
• AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation [99.57024606542416]
  周波数マイニングと変調に基づく適応的なオールインワン画像復元ネットワークを提案する。 我々のアプローチは、異なる周波数サブバンド上の画像内容に異なる劣化タイプが影響を及ぼすという観察によって動機付けられている。 提案モデルでは,入力劣化に応じて情報周波数サブバンドをアクセントすることで適応的再構成を実現する。
  論文  参考訳（メタデータ） (2024-03-21T17:58:14Z)
• Decoupling Degradation and Content Processing for Adverse Weather Image Restoration [79.59228846484415]
  逆の気象画像復元は、雨、干し草、雪などの様々な気象の影響を受ける人々から、鮮明なイメージを復元する試みである。 従来の手法では、1つのネットワーク内で複数の気象タイプを処理できるが、これら2つのプロセス間の決定的な区別を無視し、復元された画像の品質を制限している。 本研究は,DDCNetと呼ばれる新しい悪天候画像復元手法を導入し,チャネル統計に基づく特徴レベルの劣化除去とコンテンツ復元を分離する。
  論文  参考訳（メタデータ） (2023-12-08T12:26:38Z)
• All-in-one Multi-degradation Image Restoration Network via Hierarchical Degradation Representation [47.00239809958627]
  我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。 AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。 この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
  論文  参考訳（メタデータ） (2023-08-06T04:51:41Z)
• PromptIR: Prompting for All-in-One Blind Image Restoration [64.02374293256001]
  我々は、オールインワン画像復元のためのプロンプトIR(PromptIR)を提案する。 本手法では, 劣化特異的情報をエンコードするプロンプトを用いて, 復元ネットワークを動的に案内する。 PromptIRは、軽量なプロンプトがほとんどない汎用的で効率的なプラグインモジュールを提供する。
  論文  参考訳（メタデータ） (2023-06-22T17:59:52Z)
• Image Deblurring by Exploring In-depth Properties of Transformer [86.7039249037193]
  我々は、事前訓練された視覚変換器(ViT)から抽出した深い特徴を活用し、定量的な測定値によって測定された性能を犠牲にすることなく、回復した画像のシャープ化を促進する。 得られた画像と対象画像の変換器特徴を比較することにより、事前学習された変換器は、高解像度のぼやけた意味情報を提供する。 特徴をベクトルとみなし、抽出された画像から抽出された表現とユークリッド空間における対象表現との差を計算する。
  論文  参考訳（メタデータ） (2023-03-24T14:14:25Z)
• DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration [66.01846902242355]
  ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。 トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。 本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
  論文  参考訳（メタデータ） (2023-03-13T06:05:18Z)
• Invertible Rescaling Network and Its Extensions [118.72015270085535]
  本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。 我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。 そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
  論文  参考訳（メタデータ） (2022-10-09T06:58:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。