論文の概要: PromptIR: Prompting for All-in-One Blind Image Restoration
- arxiv url: http://arxiv.org/abs/2306.13090v1
- Date: Thu, 22 Jun 2023 17:59:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-23 13:18:59.603863
- Title: PromptIR: Prompting for All-in-One Blind Image Restoration
- Title(参考訳): PromptIR:オールインワンのブラインド画像復元のためのプロンプト
- Authors: Vaishnav Potlapalli, Syed Waqas Zamir, Salman Khan, Fahad Shahbaz Khan
- Abstract要約: 我々は、オールインワン画像復元のためのプロンプトIR(PromptIR)を提案する。
本手法では, 劣化特異的情報をエンコードするプロンプトを用いて, 復元ネットワークを動的に案内する。
PromptIRは、軽量なプロンプトがほとんどない汎用的で効率的なプラグインモジュールを提供する。
- 参考スコア(独自算出の注目度): 64.02374293256001
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Image restoration involves recovering a high-quality clean image from its
degraded version. Deep learning-based methods have significantly improved image
restoration performance, however, they have limited generalization ability to
different degradation types and levels. This restricts their real-world
application since it requires training individual models for each specific
degradation and knowing the input degradation type to apply the relevant model.
We present a prompt-based learning approach, PromptIR, for All-In-One image
restoration that can effectively restore images from various types and levels
of degradation. In particular, our method uses prompts to encode
degradation-specific information, which is then used to dynamically guide the
restoration network. This allows our method to generalize to different
degradation types and levels, while still achieving state-of-the-art results on
image denoising, deraining, and dehazing. Overall, PromptIR offers a generic
and efficient plugin module with few lightweight prompts that can be used to
restore images of various types and levels of degradation with no prior
information on the corruptions present in the image. Our code and pretrained
models are available here: https://github.com/va1shn9v/PromptIR
- Abstract(参考訳): 画質の劣化した画像から高品質なクリーンなイメージを復元する。
深層学習に基づく手法は画像復元性能を著しく向上させたが、分解の種類やレベルによって一般化能力は限られている。
これは、特定の分解ごとに個々のモデルをトレーニングし、関連するモデルを適用するために入力劣化タイプを知る必要があるため、実際のアプリケーションを制限する。
本稿では,様々なタイプの画像と劣化レベルを効果的に復元できる,オールインワン画像復元のためのプロンプトIRを提案する。
特に,本手法では,劣化特異的情報をエンコードするプロンプトを用いて,復元ネットワークを動的にガイドする。
これにより,画像のデニュージングやデヘイジング,デヘイジングといった最先端の成果を保ちながら,異なる劣化タイプとレベルに一般化することができる。
全体的に、prompirは汎用的で効率的なプラグインモジュールを提供するが、軽量なプロンプトはほとんどなく、イメージに存在する腐敗に関する事前情報なしで、さまざまなタイプのイメージや劣化レベルを復元することができる。
私たちのコードと事前訓練済みのモデルはここで利用可能です。
関連論文リスト
- InstructIR: High-Quality Image Restoration Following Human Instructions [68.73167409192746]
本稿では,人間の手書きによる画像復元モデルを導出する手法を提案する。
InstructIRという手法は、いくつかの修復作業において最先端の結果を得る。
論文 参考訳(メタデータ) (2024-01-29T18:53:33Z) - Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic
Image Restoration In the Wild [59.21387997903937]
SUPIR (Scaling-UP Image Restoration) は、生成前処理とモデルスケールアップのパワーを利用する、画期的な画像復元手法である。
モデルトレーニングのための2000万の高解像度高画質画像からなるデータセットを収集し、それぞれに記述的テキストアノテーションを付加する。
論文 参考訳(メタデータ) (2024-01-24T17:58:07Z) - Improving Image Restoration through Removing Degradations in Textual
Representations [60.79045963573341]
劣化画像のテキスト表現の劣化を除去し,画像復元を改善するための新たな視点を導入する。
クロスモーダル支援に対処するため,劣化した画像をテキスト表現にマッピングし,劣化を除去する手法を提案する。
特に、画像からテキストへのマッパーとテキスト復元モジュールをCLIP対応のテキストから画像へのモデルに組み込んで、ガイダンスを生成する。
論文 参考訳(メタデータ) (2023-12-28T19:18:17Z) - Textual Prompt Guided Image Restoration [18.78902053873706]
近年ではブラインド画像復元が可能なオールインワンモデルが注目されている。
最近の研究は、データ分布から視覚的なプロンプトを学習し、劣化タイプを特定することに焦点を当てている。
本稿では,効果的なテキストプロンプトガイド画像復元モデルを提案する。
論文 参考訳(メタデータ) (2023-12-11T06:56:41Z) - Prompt-In-Prompt Learning for Universal Image Restoration [38.81186629753392]
汎用画像復元のためのPIP(Prompt-In-Prompt Learning)を提案する。
本稿では, 2つの新しいプロンプト, 高レベル劣化知識をエンコードする劣化認識プロンプト, 重要な低レベル情報を提供する基本的な復元プロンプトを提案する。
これにより、PIPはプラグアンドプレイモジュールとして機能し、ユニバーサルイメージ復元のための既存の復元モデルを強化する。
論文 参考訳(メタデータ) (2023-12-08T13:36:01Z) - Prompt-based Ingredient-Oriented All-in-One Image Restoration [0.0]
複数の画像劣化課題に対処する新しいデータ成分指向手法を提案する。
具体的には、エンコーダを用いて特徴をキャプチャし、デコーダを誘導するための劣化情報を含むプロンプトを導入する。
我々の手法は最先端技術と競争的に機能する。
論文 参考訳(メタデータ) (2023-09-06T15:05:04Z) - All-in-one Multi-degradation Image Restoration Network via Hierarchical
Degradation Representation [47.00239809958627]
我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。
AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。
この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
論文 参考訳(メタデータ) (2023-08-06T04:51:41Z) - ProRes: Exploring Degradation-aware Visual Prompt for Universal Image
Restoration [46.87227160492818]
本稿では、様々な種類の画像分解を統一的な視覚的プロンプトにエンコードする、分解対応のビジュアルプロンプトを提案する。
これらの劣化認識プロンプトは、画像処理の制御を提供し、カスタマイズされた画像復元のための重み付けの組み合わせを可能にする。
次に画像復元のための制御可能なユニバーサルモデルを確立するために,分解認識型視覚プロンプトを活用する。
論文 参考訳(メタデータ) (2023-06-23T17:59:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。