論文の概要: Prompt-based Ingredient-Oriented All-in-One Image Restoration
- arxiv url: http://arxiv.org/abs/2309.03063v2
- Date: Tue, 10 Oct 2023 08:30:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 04:11:53.559545
- Title: Prompt-based Ingredient-Oriented All-in-One Image Restoration
- Title（参考訳）: プロンプトベース成分指向オールインワン画像復元
- Authors: Hu Gao and Depeng Dang
- Abstract要約: 複数の画像劣化課題に対処する新しいデータ成分指向手法を提案する。
具体的には、エンコーダを用いて特徴をキャプチャし、デコーダを誘導するための劣化情報を含むプロンプトを導入する。
我々の手法は最先端技術と競争的に機能する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image restoration aims to recover the high-quality images from their degraded
observations. Since most existing methods have been dedicated into single
degradation removal, they may not yield optimal results on other types of
degradations, which do not satisfy the applications in real world scenarios. In
this paper, we propose a novel data ingredient-oriented approach that leverages
prompt-based learning to enable a single model to efficiently tackle multiple
image degradation tasks. Specifically, we utilize a encoder to capture features
and introduce prompts with degradation-specific information to guide the
decoder in adaptively recovering images affected by various degradations. In
order to model the local invariant properties and non-local information for
high-quality image restoration, we combined CNNs operations and Transformers.
Simultaneously, we made several key designs in the Transformer blocks
(multi-head rearranged attention with prompts and simple-gate feed-forward
network) to reduce computational requirements and selectively determines what
information should be persevered to facilitate efficient recovery of
potentially sharp images. Furthermore, we incorporate a feature fusion
mechanism further explores the multi-scale information to improve the
aggregated features. The resulting tightly interlinked hierarchy architecture,
named as CAPTNet, extensive experiments demonstrate that our method performs
competitively to the state-of-the-art.
- Abstract（参考訳）: 画像復元は、劣化した観察から高品質な画像を復元することを目的としている。
既存のほとんどの手法は単一劣化除去に特化しているため、実際のシナリオでの応用を満足しない他の種類の劣化に対して最適な結果を得ることはできないかもしれない。
本稿では,複数の画像劣化タスクを効率的に扱えるように,プロンプトベースの学習を活用する新しいデータ成分指向手法を提案する。
具体的には,デコーダを用いて特徴を抽出し,デコーダの劣化に影響を受ける画像の適応的復元を行う。
高品質画像復元のための局所不変特性と非局所情報をモデル化するために, cnns操作とトランスフォーマーを組み合わせた。
同時に,複数のトランスフォーマーブロック(プロンプトによるマルチヘッド再配置注意と単純なゲートフィードフォワードネットワーク)において,計算要件を低減し,潜在的にシャープな画像の効率的な復元を容易にするために,どの情報を透過すべきかを選択的に決定するために,いくつかの重要な設計を行った。
さらに,特徴融合機構を組み込んだマルチスケール情報を探索し,特徴の集約性を向上させる。
その結果,CAPTNetと呼ばれる密接な相互接続型階層構造が,我々の手法が最先端技術と競合することを示す広範な実験を行った。
関連論文リスト
- Multi-Scale Representation Learning for Image Restoration with State-Space Model [13.622411683295686]
効率的な画像復元のためのマルチスケール状態空間モデル(MS-Mamba)を提案する。
提案手法は,計算複雑性を低く保ちながら,新しい最先端性能を実現する。
論文 参考訳（メタデータ） (2024-08-19T16:42:58Z) - All-in-one Multi-degradation Image Restoration Network via Hierarchical
Degradation Representation [47.00239809958627]
我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。
AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。
この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
論文 参考訳（メタデータ） (2023-08-06T04:51:41Z) - PromptIR: Prompting for All-in-One Blind Image Restoration [64.02374293256001]
我々は、オールインワン画像復元のためのプロンプトIR(PromptIR)を提案する。
本手法では, 劣化特異的情報をエンコードするプロンプトを用いて, 復元ネットワークを動的に案内する。
PromptIRは、軽量なプロンプトがほとんどない汎用的で効率的なプラグインモジュールを提供する。
論文 参考訳（メタデータ） (2023-06-22T17:59:52Z) - A Mountain-Shaped Single-Stage Network for Accurate Image Restoration [9.431709365739462]
画像復元においては、通常、空間的詳細と文脈情報の複雑なバランスを維持する必要がある。
不要な非線形活性化関数を除去または置換する,単純なU-Netアーキテクチャに基づく単一ステージ設計ベースを提案する。
我々のアプローチはM3SNetと呼ばれ、従来の最先端モデルよりも性能が優れており、計算コストの半分以下である。
論文 参考訳（メタデータ） (2023-05-09T03:18:35Z) - Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。
我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
論文 参考訳（メタデータ） (2022-04-19T17:59:45Z) - Multi-Stage Progressive Image Restoration [167.6852235432918]
本稿では、これらの競合する目標を最適にバランスできる新しい相乗的設計を提案する。
本提案では, 劣化した入力の復元関数を段階的に学習する多段階アーキテクチャを提案する。
MPRNetという名前の密接な相互接続型マルチステージアーキテクチャは、10のデータセットに対して強力なパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2021-02-04T18:57:07Z) - Invertible Image Rescaling [118.2653765756915]
Invertible Rescaling Net (IRN) を開発した。
我々は、ダウンスケーリングプロセスにおいて、指定された分布に従う潜在変数を用いて、失われた情報の分布をキャプチャする。
論文 参考訳（メタデータ） (2020-05-12T09:55:53Z) - Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。
ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。
提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文 参考訳（メタデータ） (2020-03-15T11:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。