論文の概要: ProRes: Exploring Degradation-aware Visual Prompt for Universal Image Restoration

• arxiv url: http://arxiv.org/abs/2306.13653v1
• Date: Fri, 23 Jun 2023 17:59:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 12:00:32.547456
• Title: ProRes: Exploring Degradation-aware Visual Prompt for Universal Image Restoration
• Title（参考訳）: ProRes: ユニバーサルイメージ復元のための劣化対応ビジュアルプロンプト
• Authors: Jiaqi Ma, Tianheng Cheng, Guoli Wang, Qian Zhang, Xinggang Wang, Lefei Zhang
• Abstract要約: 本稿では、様々な種類の画像分解を統一的な視覚的プロンプトにエンコードする、分解対応のビジュアルプロンプトを提案する。 これらの劣化認識プロンプトは、画像処理の制御を提供し、カスタマイズされた画像復元のための重み付けの組み合わせを可能にする。 次に画像復元のための制御可能なユニバーサルモデルを確立するために,分解認識型視覚プロンプトを活用する。
• 参考スコア（独自算出の注目度）: 46.87227160492818
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image restoration aims to reconstruct degraded images, e.g., denoising or deblurring. Existing works focus on designing task-specific methods and there are inadequate attempts at universal methods. However, simply unifying multiple tasks into one universal architecture suffers from uncontrollable and undesired predictions. To address those issues, we explore prompt learning in universal architectures for image restoration tasks. In this paper, we present Degradation-aware Visual Prompts, which encode various types of image degradation, e.g., noise and blur, into unified visual prompts. These degradation-aware prompts provide control over image processing and allow weighted combinations for customized image restoration. We then leverage degradation-aware visual prompts to establish a controllable and universal model for image restoration, called ProRes, which is applicable to an extensive range of image restoration tasks. ProRes leverages the vanilla Vision Transformer (ViT) without any task-specific designs. Furthermore, the pre-trained ProRes can easily adapt to new tasks through efficient prompt tuning with only a few images. Without bells and whistles, ProRes achieves competitive performance compared to task-specific methods and experiments can demonstrate its ability for controllable restoration and adaptation for new tasks. The code and models will be released in \url{https://github.com/leonmakise/ProRes}.
• Abstract（参考訳）: 画像復元は劣化した画像を再構築することを目的としている。 既存の作業はタスク固有のメソッドの設計に重点を置いており、ユニバーサルメソッドに対する不適切な試みがある。 しかし、複数のタスクをひとつの普遍的アーキテクチャに統合することは、制御不能で望ましくない予測に悩まされる。 これらの課題に対処するために,画像復元作業のためのユニバーサルアーキテクチャにおける迅速な学習について検討する。 本稿では,画像の劣化,例えばノイズやぼやきといった様々な種類の画像を統一的な視覚プロンプトに符号化する劣化認識視覚プロンプトを提案する。 これらの分解アウェアプロンプトは画像処理を制御し、カスタマイズされた画像復元のための重み付けの組み合わせを可能にする。 次に,劣化を検知した視覚的プロンプトを利用して,画像復元のための制御可能で普遍的なモデルproresを構築し,広範囲な画像復元タスクに適用する。 proresはタスク固有の設計なしでvanilla vision transformer (vit)を活用する。 さらに、事前訓練されたProResは、数枚の画像で効率的にプロンプトチューニングすることで、新しいタスクに容易に適応できる。 ベルとホイッスルがなければ、ProResはタスク固有の手法と競合する性能を達成し、新しいタスクに対する制御可能な復元と適応の能力を示すことができる。 コードとモデルは \url{https://github.com/leonmakise/ProRes} でリリースされる。

関連論文リスト

• UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation [50.27688690379488]
  既存の統合手法は、マルチタスク学習問題として、多重劣化画像復元を扱う。 本稿では,複数のローランクアダプタ(LoRA)をベースとした汎用画像復元フレームワークを提案する。 本フレームワークは, 学習前の生成モデルを多段劣化復元のための共有コンポーネントとして利用し, 特定の劣化画像復元タスクに転送する。
  論文  参考訳（メタデータ） (2024-09-30T11:16:56Z)
• Restorer: Removing Multi-Degradation with All-Axis Attention and Prompt Guidance [12.066756224383827]
  textbfRestorerはトランスフォーマーベースのオールインワン画像復元モデルである。 追加のトレーニングを必要とせずに、現実世界のシナリオで複合的な劣化を処理することができる。 推論中は効率が良く、現実世界の応用の可能性も示唆している。
  論文  参考訳（メタデータ） (2024-06-18T13:18:32Z)
• InstructIR: High-Quality Image Restoration Following Human Instructions [61.1546287323136]
  本稿では,人間の手書きによる画像復元モデルを導出する手法を提案する。 InstructIRという手法は、いくつかの修復作業において最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-01-29T18:53:33Z)
• Improving Image Restoration through Removing Degradations in Textual Representations [60.79045963573341]
  劣化画像のテキスト表現の劣化を除去し,画像復元を改善するための新たな視点を導入する。 クロスモーダル支援に対処するため,劣化した画像をテキスト表現にマッピングし,劣化を除去する手法を提案する。 特に、画像からテキストへのマッパーとテキスト復元モジュールをCLIP対応のテキストから画像へのモデルに組み込んで、ガイダンスを生成する。
  論文  参考訳（メタデータ） (2023-12-28T19:18:17Z)
• SPIRE: Semantic Prompt-Driven Image Restoration [66.26165625929747]
  セマンティック・復元型画像復元フレームワークであるSPIREを開発した。 本手法は,復元強度の量的仕様を言語ベースで記述することで,より詳細な指導を支援する最初のフレームワークである。 本実験は, SPIREの修復性能が, 現状と比較して優れていることを示すものである。
  論文  参考訳（メタデータ） (2023-12-18T17:02:30Z)
• Prompt-In-Prompt Learning for Universal Image Restoration [38.81186629753392]
  汎用画像復元のためのPIP(Prompt-In-Prompt Learning)を提案する。 本稿では, 2つの新しいプロンプト, 高レベル劣化知識をエンコードする劣化認識プロンプト, 重要な低レベル情報を提供する基本的な復元プロンプトを提案する。 これにより、PIPはプラグアンドプレイモジュールとして機能し、ユニバーサルイメージ復元のための既存の復元モデルを強化する。
  論文  参考訳（メタデータ） (2023-12-08T13:36:01Z)
• PromptIR: Prompting for All-in-One Blind Image Restoration [64.02374293256001]
  我々は、オールインワン画像復元のためのプロンプトIR(PromptIR)を提案する。 本手法では, 劣化特異的情報をエンコードするプロンプトを用いて, 復元ネットワークを動的に案内する。 PromptIRは、軽量なプロンプトがほとんどない汎用的で効率的なプラグインモジュールを提供する。
  論文  参考訳（メタデータ） (2023-06-22T17:59:52Z)
• Restore Anything Pipeline: Segment Anything Meets Image Restoration [27.93942383342829]
  本稿では,インタラクティブでオブジェクトごとのイメージ復元手法であるRestore Anything Pipeline (RAP)を紹介する。 RAPは、最新のSegment Anything Model(SAM)によるイメージセグメンテーションを、制御可能なイメージ復元モデルに組み込む。 RAPは最先端の手法に比べて優れた視覚結果をもたらす。
  論文  参考訳（メタデータ） (2023-05-22T14:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。