論文の概要: Restorer: Removing Multi-Degradation with All-Axis Attention and Prompt Guidance

• arxiv url: http://arxiv.org/abs/2406.12587v2
• Date: Tue, 3 Sep 2024 13:36:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-04 17:41:09.097945
• Title: Restorer: Removing Multi-Degradation with All-Axis Attention and Prompt Guidance
• Title（参考訳）: レジストレーター:全軸注意とプロンプト誘導による多変量除去
• Authors: Jiawei Mao, Juncheng Wu, Yuyin Zhou, Xuesong Yin, Yuanqi Chang,
• Abstract要約: textbfRestorerはトランスフォーマーベースのオールインワン画像復元モデルである。 追加のトレーニングを必要とせずに、現実世界のシナリオで複合的な劣化を処理することができる。 推論中は効率が良く、現実世界の応用の可能性も示唆している。
• 参考スコア（独自算出の注目度）: 12.066756224383827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There are many excellent solutions in image restoration.However, most methods require on training separate models to restore images with different types of degradation.Although existing all-in-one models effectively address multiple types of degradation simultaneously, their performance in real-world scenarios is still constrained by the task confusion problem.In this work, we attempt to address this issue by introducing \textbf{Restorer}, a novel Transformer-based all-in-one image restoration model.To effectively address the complex degradation present in real-world images, we propose All-Axis Attention (AAA), a mechanism that simultaneously models long-range dependencies across both spatial and channel dimensions, capturing potential correlations along all axes.Additionally, we introduce textual prompts in Restorer to incorporate explicit task priors, enabling the removal of specific degradation types based on user instructions. By iterating over these prompts, Restorer can handle composite degradation in real-world scenarios without requiring additional training.Based on these designs, Restorer with one set of parameters demonstrates state-of-the-art performance in multiple image restoration tasks compared to existing all-in-one and even single-task models.Additionally, Restorer is efficient during inference, suggesting the potential in real-world applications.
• Abstract（参考訳）: 画像復元には多くの優れた解法があるが、既存のオールインワンモデルでは、複数の種類の画像の分解を同時に処理するが、実際のシナリオにおけるそれらのパフォーマンスは、依然としてタスク混乱問題によって制約されている。本研究では、トランスフォーマーベースの新しいオールインワン画像復元モデルである \textbf{restorer} を導入して、この問題に対処しようとしている。 これらのプロンプトを反復することで、Restorerは、追加のトレーニングを必要とせずに、現実世界のシナリオにおける複合的な劣化を処理できる。これらの設計に基づいて、Restorerは、既存のオールインワンモデルやシングルタスクモデルと比較して、複数の画像復元タスクにおいて、最先端のパフォーマンスを示す。さらに、Restorerは推論時に効率的であり、実際のアプリケーションの可能性を示している。

関連論文リスト

• Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding [67.57487747508179]
  マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。 本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-25T09:26:34Z)
• AllRestorer: All-in-One Transformer for Image Restoration under Composite Degradations [52.076067325999226]
  本稿では,新しいトランスフォーマーベースの復元フレームワークAllRestorerを提案する。 AllRestorerは、すべてのイメージ障害を適応的に考慮し、シーンディスクリプタのミスダイレクトによるエラーを避ける。 CDD-11データセットのベースラインと比較して,AllRestorerはPSNRの5.00dB増加を実現している。
  論文  参考訳（メタデータ） (2024-11-16T05:30:55Z)
• Chain-of-Restoration: Multi-Task Image Restoration Models are Zero-Shot Step-by-Step Universal Image Restorers [53.298698981438]
  これは、モデルを一連の劣化ベースでトレーニングし、これらのベースがゼロショットで構成できる可能性のある劣化を除去する、新しいタスク設定である。 段階的に問題に対処するLLMに着想を得たCoR(Chain-of-Thought)を提案する。 CoRは、未知の複合劣化を段階的に除去するようモデルに指示する。
  論文  参考訳（メタデータ） (2024-10-11T10:21:42Z)
• Review Learning: Advancing All-in-One Ultra-High-Definition Image Restoration Training Method [7.487270862599671]
  本稿では,bfReview Learning という一般画像復元モデルの学習パラダイムを提案する。 このアプローチは、いくつかの劣化したデータセット上のイメージ復元モデルのシーケンシャルなトレーニングと、レビューメカニズムの組み合わせから始まります。 コンシューマグレードのGPU上で4K解像度で画像の劣化を効率的に推論できる軽量な全目的画像復元ネットワークを設計する。
  論文  参考訳（メタデータ） (2024-08-13T08:08:45Z)
• RestoreAgent: Autonomous Image Restoration Agent via Multimodal Large Language Models [45.88103575837924]
  マルチモーダルな大言語モデルを活用したインテリジェントな画像復元システムであるRestoreAgentを紹介する。 RestoreAgentは、入力画像の劣化の種類と程度を自律的に評価し、(1)適切な復元タスクを決定すること、(2)タスクシーケンスを最適化すること、(3)最も適切なモデルを選択すること、(4)復元を実行することを通じて復元を行う。 実験結果は,RestoreAgentの複雑な劣化処理における優れた性能を示し,人間の専門家を上回った。
  論文  参考訳（メタデータ） (2024-07-25T13:29:37Z)
• OneRestore: A Universal Restoration Framework for Composite Degradation [33.556183375565034]
  現実のシナリオでは、画像障害はしばしば複合的な劣化として現れ、低光、迷路、雨、雪といった要素の複雑な相互作用を示す。 本研究では, 複雑な複合劣化シナリオを正確に表現するために, 4つの物理劣化パラダイムを統合した多目的イメージングモデルを提案する。 OneRestoreは、適応的で制御可能なシーン復元のために設計された新しいトランスフォーマーベースのフレームワークである。
  論文  参考訳（メタデータ） (2024-07-05T16:27:00Z)
• Unified-Width Adaptive Dynamic Network for All-In-One Image Restoration [50.81374327480445]
  本稿では, 複雑な画像劣化を基本劣化の観点で表現できる, という新しい概念を提案する。 We propose the Unified-Width Adaptive Dynamic Network (U-WADN) which consist of two pivotal components: a Width Adaptive Backbone (WAB) and a Width Selector (WS)。 提案したU-WADNは、最大32.3%のFLOPを同時に削減し、約15.7%のリアルタイム加速を実現している。
  論文  参考訳（メタデータ） (2024-01-24T04:25:12Z)
• SPIRE: Semantic Prompt-Driven Image Restoration [66.26165625929747]
  セマンティック・復元型画像復元フレームワークであるSPIREを開発した。 本手法は,復元強度の量的仕様を言語ベースで記述することで,より詳細な指導を支援する最初のフレームワークである。 本実験は, SPIREの修復性能が, 現状と比較して優れていることを示すものである。
  論文  参考訳（メタデータ） (2023-12-18T17:02:30Z)
• All-in-one Multi-degradation Image Restoration Network via Hierarchical Degradation Representation [47.00239809958627]
  我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。 AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。 この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
  論文  参考訳（メタデータ） (2023-08-06T04:51:41Z)
• PromptIR: Prompting for All-in-One Blind Image Restoration [64.02374293256001]
  我々は、オールインワン画像復元のためのプロンプトIR(PromptIR)を提案する。 本手法では, 劣化特異的情報をエンコードするプロンプトを用いて, 復元ネットワークを動的に案内する。 PromptIRは、軽量なプロンプトがほとんどない汎用的で効率的なプラグインモジュールを提供する。
  論文  参考訳（メタデータ） (2023-06-22T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。