論文の概要: Prompt-In-Prompt Learning for Universal Image Restoration

• arxiv url: http://arxiv.org/abs/2312.05038v1
• Date: Fri, 8 Dec 2023 13:36:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 14:59:17.600347
• Title: Prompt-In-Prompt Learning for Universal Image Restoration
• Title（参考訳）: ユニバーサル画像復元のためのPrompt-In-Prompt学習
• Authors: Zilong Li, Yiming Lei, Chenglong Ma, Junping Zhang, Hongming Shan
• Abstract要約: 汎用画像復元のためのPIP(Prompt-In-Prompt Learning)を提案する。 本稿では, 2つの新しいプロンプト, 高レベル劣化知識をエンコードする劣化認識プロンプト, 重要な低レベル情報を提供する基本的な復元プロンプトを提案する。 これにより、PIPはプラグアンドプレイモジュールとして機能し、ユニバーサルイメージ復元のための既存の復元モデルを強化する。
• 参考スコア（独自算出の注目度）: 38.81186629753392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image restoration, which aims to retrieve and enhance degraded images, is fundamental across a wide range of applications. While conventional deep learning approaches have notably improved the image quality across various tasks, they still suffer from (i) the high storage cost needed for various task-specific models and (ii) the lack of interactivity and flexibility, hindering their wider application. Drawing inspiration from the pronounced success of prompts in both linguistic and visual domains, we propose novel Prompt-In-Prompt learning for universal image restoration, named PIP. First, we present two novel prompts, a degradation-aware prompt to encode high-level degradation knowledge and a basic restoration prompt to provide essential low-level information. Second, we devise a novel prompt-to-prompt interaction module to fuse these two prompts into a universal restoration prompt. Third, we introduce a selective prompt-to-feature interaction module to modulate the degradation-related feature. By doing so, the resultant PIP works as a plug-and-play module to enhance existing restoration models for universal image restoration. Extensive experimental results demonstrate the superior performance of PIP on multiple restoration tasks, including image denoising, deraining, dehazing, deblurring, and low-light enhancement. Remarkably, PIP is interpretable, flexible, efficient, and easy-to-use, showing promising potential for real-world applications. The code is available at https://github.com/longzilicart/pip_universal.
• Abstract（参考訳）: 劣化した画像の検索と拡張を目的とした画像復元は、幅広いアプリケーションで基本である。 従来のディープラーニングアプローチは、さまざまなタスクで画像品質が大幅に向上しているが、それでも苦しむ。 (i)様々なタスク固有のモデルに必要な高いストレージコスト、及び (ii) 相互作用と柔軟性の欠如により、より広い適用が妨げられる。 言語領域と視覚領域の両方におけるプロンプトの成功からインスピレーションを得て,汎用画像復元のための新しいプロンプト・イン・プロンプト学習を提案する。 まず, 2 つの新しいプロンプト, 高次劣化知識を符号化する劣化認識プロンプト, 重要な低次情報を提供する基本的な復元プロンプトを提案する。 第2に,これら2つのプロンプトをユニバーサル修復プロンプトに融合する,新しいプロンプト・ツー・プロンプトインタラクションモジュールを考案する。 第3に,劣化関連特性を変調する選択的プロンプト・ツー・フェイル相互作用モジュールを導入する。 これにより、PIPはプラグアンドプレイモジュールとして機能し、ユニバーサルイメージ復元のための既存の復元モデルを強化する。 広汎な実験結果から, 画像復調, 脱臭, 脱湿, 脱臭, 低照度化など, 複数の修復作業におけるPIPの優れた性能が示された。 注目すべきは、PIPは解釈可能で、柔軟で、効率的で、使いやすく、現実世界のアプリケーションにとって有望な可能性を示していることだ。 コードはhttps://github.com/longzilicart/pip_universalで入手できる。

関連論文リスト

• Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild [57.06779516541574]
  SUPIR (Scaling-UP Image Restoration) は、生成前処理とモデルスケールアップのパワーを利用する、画期的な画像復元手法である。 モデルトレーニングのための2000万の高解像度高画質画像からなるデータセットを収集し、それぞれに記述的テキストアノテーションを付加する。
  論文  参考訳（メタデータ） (2024-01-24T17:58:07Z)
• Unified-Width Adaptive Dynamic Network for All-In-One Image Restoration [50.81374327480445]
  本稿では, 複雑な画像劣化を基本劣化の観点で表現できる, という新しい概念を提案する。 We propose the Unified-Width Adaptive Dynamic Network (U-WADN) which consist of two pivotal components: a Width Adaptive Backbone (WAB) and a Width Selector (WS)。 提案したU-WADNは、最大32.3%のFLOPを同時に削減し、約15.7%のリアルタイム加速を実現している。
  論文  参考訳（メタデータ） (2024-01-24T04:25:12Z)
• SPIRE: Semantic Prompt-Driven Image Restoration [66.26165625929747]
  セマンティック・復元型画像復元フレームワークであるSPIREを開発した。 本手法は,復元強度の量的仕様を言語ベースで記述することで,より詳細な指導を支援する最初のフレームワークである。 本実験は, SPIREの修復性能が, 現状と比較して優れていることを示すものである。
  論文  参考訳（メタデータ） (2023-12-18T17:02:30Z)
• Multimodal Prompt Perceiver: Empower Adaptiveness, Generalizability and Fidelity for All-in-One Image Restoration [58.11518043688793]
  MPerceiverは、オールインワン画像復元のための適応性、一般化性、忠実性を高める新しいアプローチである。 MPerceiverは、オールインワンIRの9つのタスクでトレーニングされ、ほとんどのタスクで最先端のタスク固有のメソッドより優れています。
  論文  参考訳（メタデータ） (2023-12-05T17:47:11Z)
• Prompt-based Ingredient-Oriented All-in-One Image Restoration [0.0]
  複数の画像劣化課題に対処する新しいデータ成分指向手法を提案する。 具体的には、エンコーダを用いて特徴をキャプチャし、デコーダを誘導するための劣化情報を含むプロンプトを導入する。 我々の手法は最先端技術と競争的に機能する。
  論文  参考訳（メタデータ） (2023-09-06T15:05:04Z)
• ProRes: Exploring Degradation-aware Visual Prompt for Universal Image Restoration [46.87227160492818]
  本稿では、様々な種類の画像分解を統一的な視覚的プロンプトにエンコードする、分解対応のビジュアルプロンプトを提案する。 これらの劣化認識プロンプトは、画像処理の制御を提供し、カスタマイズされた画像復元のための重み付けの組み合わせを可能にする。 次に画像復元のための制御可能なユニバーサルモデルを確立するために,分解認識型視覚プロンプトを活用する。
  論文  参考訳（メタデータ） (2023-06-23T17:59:47Z)
• PromptIR: Prompting for All-in-One Blind Image Restoration [64.02374293256001]
  我々は、オールインワン画像復元のためのプロンプトIR(PromptIR)を提案する。 本手法では, 劣化特異的情報をエンコードするプロンプトを用いて, 復元ネットワークを動的に案内する。 PromptIRは、軽量なプロンプトがほとんどない汎用的で効率的なプラグインモジュールを提供する。
  論文  参考訳（メタデータ） (2023-06-22T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。