論文の概要: Restorer: Solving Multiple Image Restoration Tasks with One Set of Parameters

• arxiv url: http://arxiv.org/abs/2406.12587v1
• Date: Tue, 18 Jun 2024 13:18:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 18:58:07.342370
• Title: Restorer: Solving Multiple Image Restoration Tasks with One Set of Parameters
• Title（参考訳）: 復元機:1組のパラメータで複数画像復元タスクを解く
• Authors: Jiawei Mao, Xuesong Yin, Yuanqi Chang,
• Abstract要約: 複数の画像復元タスクのための統一的で効果的なソリューションを設計することに注力する。 以上の目的に基づき,U-Netアーキテクチャを用いたTransformer Network Restorerを提案する。 本稿では,Restorerが複数の実世界のイメージ復元タスクのバックボーンとして機能する可能性を示す。
• 参考スコア（独自算出の注目度）: 3.0713650808646564
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although there are many excellent solutions in image restoration, the fact that they are specifically designed for a single image restoration task may prevent them from being state-of-the-art (SOTA) in other types of image restoration tasks. While some approaches require considering multiple image restoration tasks, they are still not sufficient for the requirements of the real world and may suffer from the task confusion issue. In this work, we focus on designing a unified and effective solution for multiple image restoration tasks including deraining, desnowing, defogging, deblurring, denoising, and low-light enhancement. Based on the above purpose, we propose a Transformer network Restorer with U-Net architecture. In order to effectively deal with degraded information in multiple image restoration tasks, we need a more comprehensive attention mechanism. Thus, we design all-axis attention (AAA) through stereo embedding and 3D convolution, which can simultaneously model the long-range dependencies in both spatial and channel dimensions, capturing potential correlations among all axis. Moreover, we propose a Restorer based on textual prompts. Compared to previous methods that employ learnable queries, textual prompts bring explicit task priors to solve the task confusion issue arising from learnable queries and introduce interactivity. Based on these designs, Restorer demonstrates SOTA or comparable performance in multiple image restoration tasks compared to universal image restoration frameworks and methods specifically designed for these individual tasks. Meanwhile, Restorer is faster during inference. The above results along with the real-world test results show that Restorer has the potential to serve as a backbone for multiple real-world image restoration tasks.
• Abstract（参考訳）: 画像復元には多くの優れた解法があるが、単一の画像復元タスク用に特別に設計されているという事実は、他の種類の画像復元タスクにおいて、それらが最先端(SOTA)になることを防ぐ可能性がある。 いくつかのアプローチでは複数の画像復元タスクを検討する必要があるが、現実の要求に十分ではないため、タスクの混乱に悩まされる可能性がある。 本研究では,デライニング,デリーディング,デファッジング,デブロアリング,デノイング,低照度化を含む複数の画像復元タスクに対して,統一的で効果的なソリューションを設計することに焦点を当てる。 以上の目的に基づき,U-Netアーキテクチャを用いたTransformer Network Restorerを提案する。 複数の画像復元作業において、劣化した情報を効果的に処理するには、より包括的な注意機構が必要である。 そこで我々は,立体埋め込みと3次元畳み込みによる全軸アテンション(AAA)を設計し,空間次元とチャネル次元の両方における長距離依存性を同時にモデル化し,全軸間のポテンシャル相関を捉える。 さらに,テキストのプロンプトに基づくレゾラーを提案する。 学習可能なクエリを利用する従来の方法と比較して、テキストプロンプトは、学習可能なクエリから生じるタスクの混乱を解消し、対話性を導入するために、明示的なタスク前処理をもたらす。 これらの設計に基づいて、Restorerは複数の画像復元タスクにおいてSOTAまたは同等のパフォーマンスを、これらの個々のタスク用に特別に設計された普遍的な画像復元フレームワークやメソッドと比較する。 一方、Restorerは推論時に高速である。 以上の結果は、実世界のテスト結果とともに、Restorerは複数の実世界のイメージ復元タスクのバックボーンとして機能する可能性があることを示している。

関連論文リスト

• Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding [67.57487747508179]
  マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。 本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-25T09:26:34Z)
• AllRestorer: All-in-One Transformer for Image Restoration under Composite Degradations [52.076067325999226]
  本稿では,新しいトランスフォーマーベースの復元フレームワークAllRestorerを提案する。 AllRestorerは、すべてのイメージ障害を適応的に考慮し、シーンディスクリプタのミスダイレクトによるエラーを避ける。 CDD-11データセットのベースラインと比較して,AllRestorerはPSNRの5.00dB増加を実現している。
  論文  参考訳（メタデータ） (2024-11-16T05:30:55Z)
• Chain-of-Restoration: Multi-Task Image Restoration Models are Zero-Shot Step-by-Step Universal Image Restorers [53.298698981438]
  これは、モデルを一連の劣化ベースでトレーニングし、これらのベースがゼロショットで構成できる可能性のある劣化を除去する、新しいタスク設定である。 段階的に問題に対処するLLMに着想を得たCoR(Chain-of-Thought)を提案する。 CoRは、未知の複合劣化を段階的に除去するようモデルに指示する。
  論文  参考訳（メタデータ） (2024-10-11T10:21:42Z)
• Review Learning: Advancing All-in-One Ultra-High-Definition Image Restoration Training Method [7.487270862599671]
  本稿では,bfReview Learning という一般画像復元モデルの学習パラダイムを提案する。 このアプローチは、いくつかの劣化したデータセット上のイメージ復元モデルのシーケンシャルなトレーニングと、レビューメカニズムの組み合わせから始まります。 コンシューマグレードのGPU上で4K解像度で画像の劣化を効率的に推論できる軽量な全目的画像復元ネットワークを設計する。
  論文  参考訳（メタデータ） (2024-08-13T08:08:45Z)
• RestoreAgent: Autonomous Image Restoration Agent via Multimodal Large Language Models [45.88103575837924]
  マルチモーダルな大言語モデルを活用したインテリジェントな画像復元システムであるRestoreAgentを紹介する。 RestoreAgentは、入力画像の劣化の種類と程度を自律的に評価し、(1)適切な復元タスクを決定すること、(2)タスクシーケンスを最適化すること、(3)最も適切なモデルを選択すること、(4)復元を実行することを通じて復元を行う。 実験結果は,RestoreAgentの複雑な劣化処理における優れた性能を示し,人間の専門家を上回った。
  論文  参考訳（メタデータ） (2024-07-25T13:29:37Z)
• OneRestore: A Universal Restoration Framework for Composite Degradation [33.556183375565034]
  現実のシナリオでは、画像障害はしばしば複合的な劣化として現れ、低光、迷路、雨、雪といった要素の複雑な相互作用を示す。 本研究では, 複雑な複合劣化シナリオを正確に表現するために, 4つの物理劣化パラダイムを統合した多目的イメージングモデルを提案する。 OneRestoreは、適応的で制御可能なシーン復元のために設計された新しいトランスフォーマーベースのフレームワークである。
  論文  参考訳（メタデータ） (2024-07-05T16:27:00Z)
• Unified-Width Adaptive Dynamic Network for All-In-One Image Restoration [50.81374327480445]
  本稿では, 複雑な画像劣化を基本劣化の観点で表現できる, という新しい概念を提案する。 We propose the Unified-Width Adaptive Dynamic Network (U-WADN) which consist of two pivotal components: a Width Adaptive Backbone (WAB) and a Width Selector (WS)。 提案したU-WADNは、最大32.3%のFLOPを同時に削減し、約15.7%のリアルタイム加速を実現している。
  論文  参考訳（メタデータ） (2024-01-24T04:25:12Z)
• SPIRE: Semantic Prompt-Driven Image Restoration [66.26165625929747]
  セマンティック・復元型画像復元フレームワークであるSPIREを開発した。 本手法は,復元強度の量的仕様を言語ベースで記述することで,より詳細な指導を支援する最初のフレームワークである。 本実験は, SPIREの修復性能が, 現状と比較して優れていることを示すものである。
  論文  参考訳（メタデータ） (2023-12-18T17:02:30Z)
• All-in-one Multi-degradation Image Restoration Network via Hierarchical Degradation Representation [47.00239809958627]
  我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。 AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。 この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
  論文  参考訳（メタデータ） (2023-08-06T04:51:41Z)
• PromptIR: Prompting for All-in-One Blind Image Restoration [64.02374293256001]
  我々は、オールインワン画像復元のためのプロンプトIR(PromptIR)を提案する。 本手法では, 劣化特異的情報をエンコードするプロンプトを用いて, 復元ネットワークを動的に案内する。 PromptIRは、軽量なプロンプトがほとんどない汎用的で効率的なプラグインモジュールを提供する。
  論文  参考訳（メタデータ） (2023-06-22T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。