論文の概要: Learning Dual Transformers for All-In-One Image Restoration from a Frequency Perspective

• arxiv url: http://arxiv.org/abs/2407.01636v2
• Date: Mon, 24 Feb 2025 01:27:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:47:48.398448
• Title: Learning Dual Transformers for All-In-One Image Restoration from a Frequency Perspective
• Title（参考訳）: 周波数から見たオールインワン画像復元のためのデュアル変換器の学習
• Authors: Jie Chu, Tong Su, Pei Liu, Yunpeng Wu, Le Zhang, Zenglin Shi, Meng Wang,
• Abstract要約: この作業は、1つのモデルで複数のタイプの劣化を処理しようとするオールインワンのイメージ復元タスクに取り組むことを目的としている。 主な課題は、入力された劣化画像から分解表現を抽出し、モデルを特定の劣化タイプに適応させることである。 周波数認識型劣化推定変換器(Dformer)と劣化適応型復元変換器(Rformer)の2成分からなる新しい二重変換器手法を提案する。
• 参考スコア（独自算出の注目度）: 14.818622675158528
• License:
• Abstract: This work aims to tackle the all-in-one image restoration task, which seeks to handle multiple types of degradation with a single model. The primary challenge is to extract degradation representations from the input degraded images and use them to guide the model's adaptation to specific degradation types. Building on the insight that various degradations affect image content differently across frequency bands, we propose a new dual-transformer approach comprising two components: a frequency-aware Degradation estimation transformer (Dformer) and a degradation-adaptive Restoration transformer (Rformer). The Dformer captures the essential characteristics of various degradations by decomposing the input into different frequency components. By understanding how degradations affect these frequency components, the Dformer learns robust priors that effectively guide the restoration process. The Rformer then employs a degradation-adaptive self-attention module to selectively focus on the most affected frequency components, guided by the learned degradation representations. Extensive experimental results demonstrate that our approach outperforms existing methods in five representative restoration tasks, including denoising, deraining, dehazing, deblurring, and low-light enhancement. Additionally, our method offers benefits for handling, real-world degradations, spatially variant degradations, and unseen degradation levels.
• Abstract（参考訳）: この作業は、1つのモデルで複数のタイプの劣化を処理しようとするオールインワンのイメージ復元タスクに取り組むことを目的としている。 主な課題は、入力された劣化画像から分解表現を抽出し、モデルを特定の劣化タイプに適応させることである。 そこで本研究では,周波数帯の異なる画像内容に様々な劣化が影響を与えるという知見に基づいて,周波数認識型劣化推定変換器 (Dformer) と劣化適応型復元変換器 (Rformer) の2成分からなる2成分の両変換器を提案する。 Dformerは、入力を異なる周波数成分に分解することで、様々な劣化の本質的な特性をキャプチャする。 劣化がこれらの周波数成分にどのように影響するかを理解することで、Dformerはリストアプロセスを効果的に導く堅牢な事前知識を学ぶ。 次に、Rformerは劣化適応型の自己アテンションモジュールを使用して、学習された劣化表現によって導かれる最も影響の大きい周波数成分に選択的にフォーカスする。 本手法は, 脱臭, 脱臭, 脱臭, 低照度化を含む5つの代表的な修復作業において, 既存手法よりも優れていた。 さらに,本手法は,処理,実世界の劣化,空間的に変化する劣化,目に見えない劣化レベルに対する利点を提供する。

関連論文リスト

• Bracketing Image Restoration and Enhancement with High-Low Frequency Decomposition [44.80645807358389]
  HLNetは、高周波数分解に基づくブラケット画像復元・改善手法である。 特徴抽出には,共有重みモジュールと非共有重みモジュールの2つのモジュールを用いる。 非共有重みモジュールでは、低周波情報を扱うために異なる手法を用いるHLFDB(High-Low Frequency Decomposition Block)を導入する。
  論文  参考訳（メタデータ） (2024-04-21T05:11:37Z)
• Seeing the Unseen: A Frequency Prompt Guided Transformer for Image Restoration [44.35766203309201]
  本研究では,FProと呼ばれる周波数プロンプト画像復元手法を開発し,この手法により周波数パースペクティブ・コンポーネントを効果的に提供し,復元モデルを誘導する。 5つの画像復元作業において,SOTA法に対するパイプラインの良好な性能を示す実験結果が得られた。
  論文  参考訳（メタデータ） (2024-03-30T08:42:34Z)
• AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation [99.57024606542416]
  周波数マイニングと変調に基づく適応的なオールインワン画像復元ネットワークを提案する。 我々のアプローチは、異なる周波数サブバンド上の画像内容に異なる劣化タイプが影響を及ぼすという観察によって動機付けられている。 提案モデルでは,入力劣化に応じて情報周波数サブバンドをアクセントすることで適応的再構成を実現する。
  論文  参考訳（メタデータ） (2024-03-21T17:58:14Z)
• Decoupling Degradation and Content Processing for Adverse Weather Image Restoration [79.59228846484415]
  逆の気象画像復元は、雨、干し草、雪などの様々な気象の影響を受ける人々から、鮮明なイメージを復元する試みである。 従来の手法では、1つのネットワーク内で複数の気象タイプを処理できるが、これら2つのプロセス間の決定的な区別を無視し、復元された画像の品質を制限している。 本研究は,DDCNetと呼ばれる新しい悪天候画像復元手法を導入し,チャネル統計に基づく特徴レベルの劣化除去とコンテンツ復元を分離する。
  論文  参考訳（メタデータ） (2023-12-08T12:26:38Z)
• All-in-one Multi-degradation Image Restoration Network via Hierarchical Degradation Representation [47.00239809958627]
  我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。 AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。 この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
  論文  参考訳（メタデータ） (2023-08-06T04:51:41Z)
• PromptIR: Prompting for All-in-One Blind Image Restoration [64.02374293256001]
  我々は、オールインワン画像復元のためのプロンプトIR(PromptIR)を提案する。 本手法では, 劣化特異的情報をエンコードするプロンプトを用いて, 復元ネットワークを動的に案内する。 PromptIRは、軽量なプロンプトがほとんどない汎用的で効率的なプラグインモジュールを提供する。
  論文  参考訳（メタデータ） (2023-06-22T17:59:52Z)
• Image Deblurring by Exploring In-depth Properties of Transformer [86.7039249037193]
  我々は、事前訓練された視覚変換器(ViT)から抽出した深い特徴を活用し、定量的な測定値によって測定された性能を犠牲にすることなく、回復した画像のシャープ化を促進する。 得られた画像と対象画像の変換器特徴を比較することにより、事前学習された変換器は、高解像度のぼやけた意味情報を提供する。 特徴をベクトルとみなし、抽出された画像から抽出された表現とユークリッド空間における対象表現との差を計算する。
  論文  参考訳（メタデータ） (2023-03-24T14:14:25Z)
• DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration [66.01846902242355]
  ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。 トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。 本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
  論文  参考訳（メタデータ） (2023-03-13T06:05:18Z)
• Invertible Rescaling Network and Its Extensions [118.72015270085535]
  本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。 我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。 そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
  論文  参考訳（メタデータ） (2022-10-09T06:58:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。