論文の概要: Restorer: Solving Multiple Image Restoration Tasks with One Set of Parameters

• arxiv url: http://arxiv.org/abs/2406.12587v1
• Date: Tue, 18 Jun 2024 13:18:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 18:58:07.342370
• Title: Restorer: Solving Multiple Image Restoration Tasks with One Set of Parameters
• Title（参考訳）: 復元機:1組のパラメータで複数画像復元タスクを解く
• Authors: Jiawei Mao, Xuesong Yin, Yuanqi Chang,
• Abstract要約: 複数の画像復元タスクのための統一的で効果的なソリューションを設計することに注力する。 以上の目的に基づき,U-Netアーキテクチャを用いたTransformer Network Restorerを提案する。 本稿では,Restorerが複数の実世界のイメージ復元タスクのバックボーンとして機能する可能性を示す。
• 参考スコア（独自算出の注目度）: 3.0713650808646564
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although there are many excellent solutions in image restoration, the fact that they are specifically designed for a single image restoration task may prevent them from being state-of-the-art (SOTA) in other types of image restoration tasks. While some approaches require considering multiple image restoration tasks, they are still not sufficient for the requirements of the real world and may suffer from the task confusion issue. In this work, we focus on designing a unified and effective solution for multiple image restoration tasks including deraining, desnowing, defogging, deblurring, denoising, and low-light enhancement. Based on the above purpose, we propose a Transformer network Restorer with U-Net architecture. In order to effectively deal with degraded information in multiple image restoration tasks, we need a more comprehensive attention mechanism. Thus, we design all-axis attention (AAA) through stereo embedding and 3D convolution, which can simultaneously model the long-range dependencies in both spatial and channel dimensions, capturing potential correlations among all axis. Moreover, we propose a Restorer based on textual prompts. Compared to previous methods that employ learnable queries, textual prompts bring explicit task priors to solve the task confusion issue arising from learnable queries and introduce interactivity. Based on these designs, Restorer demonstrates SOTA or comparable performance in multiple image restoration tasks compared to universal image restoration frameworks and methods specifically designed for these individual tasks. Meanwhile, Restorer is faster during inference. The above results along with the real-world test results show that Restorer has the potential to serve as a backbone for multiple real-world image restoration tasks.
• Abstract（参考訳）: 画像復元には多くの優れた解法があるが、単一の画像復元タスク用に特別に設計されているという事実は、他の種類の画像復元タスクにおいて、それらが最先端(SOTA)になることを防ぐ可能性がある。 いくつかのアプローチでは複数の画像復元タスクを検討する必要があるが、現実の要求に十分ではないため、タスクの混乱に悩まされる可能性がある。 本研究では,デライニング,デリーディング,デファッジング,デブロアリング,デノイング,低照度化を含む複数の画像復元タスクに対して,統一的で効果的なソリューションを設計することに焦点を当てる。 以上の目的に基づき,U-Netアーキテクチャを用いたTransformer Network Restorerを提案する。 複数の画像復元作業において、劣化した情報を効果的に処理するには、より包括的な注意機構が必要である。 そこで我々は,立体埋め込みと3次元畳み込みによる全軸アテンション(AAA)を設計し,空間次元とチャネル次元の両方における長距離依存性を同時にモデル化し,全軸間のポテンシャル相関を捉える。 さらに,テキストのプロンプトに基づくレゾラーを提案する。 学習可能なクエリを利用する従来の方法と比較して、テキストプロンプトは、学習可能なクエリから生じるタスクの混乱を解消し、対話性を導入するために、明示的なタスク前処理をもたらす。 これらの設計に基づいて、Restorerは複数の画像復元タスクにおいてSOTAまたは同等のパフォーマンスを、これらの個々のタスク用に特別に設計された普遍的な画像復元フレームワークやメソッドと比較する。 一方、Restorerは推論時に高速である。 以上の結果は、実世界のテスト結果とともに、Restorerは複数の実世界のイメージ復元タスクのバックボーンとして機能する可能性があることを示している。

関連論文リスト

• InstructIR: High-Quality Image Restoration Following Human Instructions [61.1546287323136]
  本稿では,人間の手書きによる画像復元モデルを導出する手法を提案する。 InstructIRという手法は、いくつかの修復作業において最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-01-29T18:53:33Z)
• Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild [57.06779516541574]
  SUPIR (Scaling-UP Image Restoration) は、生成前処理とモデルスケールアップのパワーを利用する、画期的な画像復元手法である。 モデルトレーニングのための2000万の高解像度高画質画像からなるデータセットを収集し、それぞれに記述的テキストアノテーションを付加する。
  論文  参考訳（メタデータ） (2024-01-24T17:58:07Z)
• Unified-Width Adaptive Dynamic Network for All-In-One Image Restoration [50.81374327480445]
  本稿では, 複雑な画像劣化を基本劣化の観点で表現できる, という新しい概念を提案する。 We propose the Unified-Width Adaptive Dynamic Network (U-WADN) which consist of two pivotal components: a Width Adaptive Backbone (WAB) and a Width Selector (WS)。 提案したU-WADNは、最大32.3%のFLOPを同時に削減し、約15.7%のリアルタイム加速を実現している。
  論文  参考訳（メタデータ） (2024-01-24T04:25:12Z)
• SPIRE: Semantic Prompt-Driven Image Restoration [66.26165625929747]
  セマンティック・復元型画像復元フレームワークであるSPIREを開発した。 本手法は,復元強度の量的仕様を言語ベースで記述することで,より詳細な指導を支援する最初のフレームワークである。 本実験は, SPIREの修復性能が, 現状と比較して優れていることを示すものである。
  論文  参考訳（メタデータ） (2023-12-18T17:02:30Z)
• Unifying Image Processing as Visual Prompting Question Answering [62.84955983910612]
  画像処理はコンピュータビジョンの基本的な課題であり、画像の品質を高め、その後の視覚アプリケーションに不可欠な特徴を抽出することを目的としている。 伝統的に、タスク固有のモデルは個々のタスクのために開発され、そのようなモデルの設計には異なる専門知識が必要である。 本稿では,画像復元,画像強調,画像特徴抽出タスクを網羅する汎用画像処理モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-16T15:32:57Z)
• All-in-one Multi-degradation Image Restoration Network via Hierarchical Degradation Representation [47.00239809958627]
  我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。 AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。 この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
  論文  参考訳（メタデータ） (2023-08-06T04:51:41Z)
• ProRes: Exploring Degradation-aware Visual Prompt for Universal Image Restoration [46.87227160492818]
  本稿では、様々な種類の画像分解を統一的な視覚的プロンプトにエンコードする、分解対応のビジュアルプロンプトを提案する。 これらの劣化認識プロンプトは、画像処理の制御を提供し、カスタマイズされた画像復元のための重み付けの組み合わせを可能にする。 次に画像復元のための制御可能なユニバーサルモデルを確立するために,分解認識型視覚プロンプトを活用する。
  論文  参考訳（メタデータ） (2023-06-23T17:59:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。