論文の概要: PromptIR: Prompting for All-in-One Blind Image Restoration

• arxiv url: http://arxiv.org/abs/2306.13090v1
• Date: Thu, 22 Jun 2023 17:59:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-23 13:18:59.603863
• Title: PromptIR: Prompting for All-in-One Blind Image Restoration
• Title（参考訳）: PromptIR:オールインワンのブラインド画像復元のためのプロンプト
• Authors: Vaishnav Potlapalli, Syed Waqas Zamir, Salman Khan, Fahad Shahbaz Khan
• Abstract要約: 我々は、オールインワン画像復元のためのプロンプトIR(PromptIR)を提案する。 本手法では, 劣化特異的情報をエンコードするプロンプトを用いて, 復元ネットワークを動的に案内する。 PromptIRは、軽量なプロンプトがほとんどない汎用的で効率的なプラグインモジュールを提供する。
• 参考スコア（独自算出の注目度）: 64.02374293256001
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image restoration involves recovering a high-quality clean image from its degraded version. Deep learning-based methods have significantly improved image restoration performance, however, they have limited generalization ability to different degradation types and levels. This restricts their real-world application since it requires training individual models for each specific degradation and knowing the input degradation type to apply the relevant model. We present a prompt-based learning approach, PromptIR, for All-In-One image restoration that can effectively restore images from various types and levels of degradation. In particular, our method uses prompts to encode degradation-specific information, which is then used to dynamically guide the restoration network. This allows our method to generalize to different degradation types and levels, while still achieving state-of-the-art results on image denoising, deraining, and dehazing. Overall, PromptIR offers a generic and efficient plugin module with few lightweight prompts that can be used to restore images of various types and levels of degradation with no prior information on the corruptions present in the image. Our code and pretrained models are available here: https://github.com/va1shn9v/PromptIR
• Abstract（参考訳）: 画質の劣化した画像から高品質なクリーンなイメージを復元する。 深層学習に基づく手法は画像復元性能を著しく向上させたが、分解の種類やレベルによって一般化能力は限られている。 これは、特定の分解ごとに個々のモデルをトレーニングし、関連するモデルを適用するために入力劣化タイプを知る必要があるため、実際のアプリケーションを制限する。 本稿では,様々なタイプの画像と劣化レベルを効果的に復元できる,オールインワン画像復元のためのプロンプトIRを提案する。 特に,本手法では,劣化特異的情報をエンコードするプロンプトを用いて,復元ネットワークを動的にガイドする。 これにより,画像のデニュージングやデヘイジング,デヘイジングといった最先端の成果を保ちながら,異なる劣化タイプとレベルに一般化することができる。 全体的に、prompirは汎用的で効率的なプラグインモジュールを提供するが、軽量なプロンプトはほとんどなく、イメージに存在する腐敗に関する事前情報なしで、さまざまなタイプのイメージや劣化レベルを復元することができる。 私たちのコードと事前訓練済みのモデルはここで利用可能です。

関連論文リスト

• UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation [50.27688690379488]
  既存の統合手法は、マルチタスク学習問題として、多重劣化画像復元を扱う。 本稿では,複数のローランクアダプタ(LoRA)をベースとした汎用画像復元フレームワークを提案する。 本フレームワークは, 学習前の生成モデルを多段劣化復元のための共有コンポーネントとして利用し, 特定の劣化画像復元タスクに転送する。
  論文  参考訳（メタデータ） (2024-09-30T11:16:56Z)
• Review Learning: Advancing All-in-One Ultra-High-Definition Image Restoration Training Method [7.487270862599671]
  本稿では,bfReview Learning という一般画像復元モデルの学習パラダイムを提案する。 このアプローチは、いくつかの劣化したデータセット上のイメージ復元モデルのシーケンシャルなトレーニングと、レビューメカニズムの組み合わせから始まります。 コンシューマグレードのGPU上で4K解像度で画像の劣化を効率的に推論できる軽量な全目的画像復元ネットワークを設計する。
  論文  参考訳（メタデータ） (2024-08-13T08:08:45Z)
• Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
  拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。 我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。 また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
  論文  参考訳（メタデータ） (2024-07-04T05:01:10Z)
• AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation [99.57024606542416]
  周波数マイニングと変調に基づく適応的なオールインワン画像復元ネットワークを提案する。 我々のアプローチは、異なる周波数サブバンド上の画像内容に異なる劣化タイプが影響を及ぼすという観察によって動機付けられている。 提案モデルでは,入力劣化に応じて情報周波数サブバンドをアクセントすることで適応的再構成を実現する。
  論文  参考訳（メタデータ） (2024-03-21T17:58:14Z)
• InstructIR: High-Quality Image Restoration Following Human Instructions [61.1546287323136]
  本稿では,人間の手書きによる画像復元モデルを導出する手法を提案する。 InstructIRという手法は、いくつかの修復作業において最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-01-29T18:53:33Z)
• Improving Image Restoration through Removing Degradations in Textual Representations [60.79045963573341]
  劣化画像のテキスト表現の劣化を除去し,画像復元を改善するための新たな視点を導入する。 クロスモーダル支援に対処するため,劣化した画像をテキスト表現にマッピングし,劣化を除去する手法を提案する。 特に、画像からテキストへのマッパーとテキスト復元モジュールをCLIP対応のテキストから画像へのモデルに組み込んで、ガイダンスを生成する。
  論文  参考訳（メタデータ） (2023-12-28T19:18:17Z)
• Prompt-In-Prompt Learning for Universal Image Restoration [38.81186629753392]
  汎用画像復元のためのPIP(Prompt-In-Prompt Learning)を提案する。 本稿では, 2つの新しいプロンプト, 高レベル劣化知識をエンコードする劣化認識プロンプト, 重要な低レベル情報を提供する基本的な復元プロンプトを提案する。 これにより、PIPはプラグアンドプレイモジュールとして機能し、ユニバーサルイメージ復元のための既存の復元モデルを強化する。
  論文  参考訳（メタデータ） (2023-12-08T13:36:01Z)
• ProRes: Exploring Degradation-aware Visual Prompt for Universal Image Restoration [46.87227160492818]
  本稿では、様々な種類の画像分解を統一的な視覚的プロンプトにエンコードする、分解対応のビジュアルプロンプトを提案する。 これらの劣化認識プロンプトは、画像処理の制御を提供し、カスタマイズされた画像復元のための重み付けの組み合わせを可能にする。 次に画像復元のための制御可能なユニバーサルモデルを確立するために,分解認識型視覚プロンプトを活用する。
  論文  参考訳（メタデータ） (2023-06-23T17:59:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。