論文の概要: Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic
Image Restoration In the Wild
- arxiv url: http://arxiv.org/abs/2401.13627v1
- Date: Wed, 24 Jan 2024 17:58:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-25 13:57:38.828986
- Title: Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic
Image Restoration In the Wild
- Title(参考訳): 優れたスケールアップ:野生のフォトリアリスティック画像復元のためのモデルスケーリングの実践
- Authors: Fanghua Yu, Jinjin Gu, Zheyuan Li, Jinfan Hu, Xiangtao Kong, Xintao
Wang, Jingwen He, Yu Qiao, Chao Dong
- Abstract要約: SUPIR (Scaling-UP Image Restoration) は、生成前処理とモデルスケールアップのパワーを利用する、画期的な画像復元手法である。
モデルトレーニングのための2000万の高解像度高画質画像からなるデータセットを収集し、それぞれに記述的テキストアノテーションを付加する。
- 参考スコア(独自算出の注目度): 59.21387997903937
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce SUPIR (Scaling-UP Image Restoration), a groundbreaking image
restoration method that harnesses generative prior and the power of model
scaling up. Leveraging multi-modal techniques and advanced generative prior,
SUPIR marks a significant advance in intelligent and realistic image
restoration. As a pivotal catalyst within SUPIR, model scaling dramatically
enhances its capabilities and demonstrates new potential for image restoration.
We collect a dataset comprising 20 million high-resolution, high-quality images
for model training, each enriched with descriptive text annotations. SUPIR
provides the capability to restore images guided by textual prompts, broadening
its application scope and potential. Moreover, we introduce negative-quality
prompts to further improve perceptual quality. We also develop a
restoration-guided sampling method to suppress the fidelity issue encountered
in generative-based restoration. Experiments demonstrate SUPIR's exceptional
restoration effects and its novel capacity to manipulate restoration through
textual prompts.
- Abstract(参考訳): 本稿では,生成前処理とモデルスケールアップのパワーを活かした画期的な画像復元手法であるSUPIR(Scaling-UP Image Restoration)を紹介する。
SUPIRはマルチモーダル技術と先進的な生成技術を応用し、インテリジェントで現実的な画像復元において大きな進歩を遂げた。
SUPIRの触媒として、モデルスケーリングはその能力を劇的に向上させ、画像復元の新しい可能性を示す。
モデルトレーニングのための2000万の高解像度高画質画像からなるデータセットを収集し,それぞれに記述的テキストアノテーションを付加する。
SUPIRは、テキストプロンプトでガイドされたイメージを復元する機能を提供し、アプリケーションの範囲と可能性を広げる。
さらに,知覚的品質をさらに向上させるために,否定的品質プロンプトを導入する。
また, 生成的修復における忠実性問題を抑制するために, 復元誘導サンプリング法を開発した。
実験は、supirの例外的な修復効果と、テキストによるプロンプトによる修復を操作できる新しい能力を示している。
関連論文リスト
- InstructIR: High-Quality Image Restoration Following Human Instructions [68.73167409192746]
本稿では,人間の手書きによる画像復元モデルを導出する手法を提案する。
InstructIRという手法は、いくつかの修復作業において最先端の結果を得る。
論文 参考訳(メタデータ) (2024-01-29T18:53:33Z) - Improving Image Restoration through Removing Degradations in Textual
Representations [60.79045963573341]
劣化画像のテキスト表現の劣化を除去し,画像復元を改善するための新たな視点を導入する。
クロスモーダル支援に対処するため,劣化した画像をテキスト表現にマッピングし,劣化を除去する手法を提案する。
特に、画像からテキストへのマッパーとテキスト復元モジュールをCLIP対応のテキストから画像へのモデルに組み込んで、ガイダンスを生成する。
論文 参考訳(メタデータ) (2023-12-28T19:18:17Z) - Prompt-based Ingredient-Oriented All-in-One Image Restoration [0.0]
複数の画像劣化課題に対処する新しいデータ成分指向手法を提案する。
具体的には、エンコーダを用いて特徴をキャプチャし、デコーダを誘導するための劣化情報を含むプロンプトを導入する。
我々の手法は最先端技術と競争的に機能する。
論文 参考訳(メタデータ) (2023-09-06T15:05:04Z) - Diffusion Models for Image Restoration and Enhancement -- A
Comprehensive Survey [96.99328714941657]
本稿では,近年の拡散モデルに基づく画像復元手法について概観する。
我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。
本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
論文 参考訳(メタデータ) (2023-08-18T08:40:38Z) - RestoreFormer++: Towards Real-World Blind Face Restoration from
Undegraded Key-Value Pairs [63.991802204929485]
ブラインド顔復元は、未知の劣化のあるものから高品質な顔画像の復元を目的としている。
現在のアルゴリズムは、主に、高品質な詳細を補完し、驚くべき進歩を達成するために、事前を導入する。
RestoreFormer++を提案する。これは、コンテキスト情報と事前との相互作用をモデル化するための、完全な空間的アテンション機構を導入します。
RestoreFormer++は、合成と実世界の両方のデータセットで最先端のアルゴリズムより優れています。
論文 参考訳(メタデータ) (2023-08-14T16:04:53Z) - All-in-one Multi-degradation Image Restoration Network via Hierarchical
Degradation Representation [47.00239809958627]
我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。
AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。
この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
論文 参考訳(メタデータ) (2023-08-06T04:51:41Z) - Towards Authentic Face Restoration with Iterative Diffusion Models and
Beyond [30.114913184727]
我々は$textbfIDM$, $textbfI$teratively learned face restoration systemを$textbfD$iffusionに基づいて提案する。
ブラインドフェイス修復作業における優れた性能を示す。
論文 参考訳(メタデータ) (2023-07-18T06:31:01Z) - PromptIR: Prompting for All-in-One Blind Image Restoration [64.02374293256001]
我々は、オールインワン画像復元のためのプロンプトIR(PromptIR)を提案する。
本手法では, 劣化特異的情報をエンコードするプロンプトを用いて, 復元ネットワークを動的に案内する。
PromptIRは、軽量なプロンプトがほとんどない汎用的で効率的なプラグインモジュールを提供する。
論文 参考訳(メタデータ) (2023-06-22T17:59:52Z) - Exploring and Evaluating Image Restoration Potential in Dynamic Scenes [44.37018725642948]
ダイナミックなシーンでは、画像は動きの重畳や信号-雑音比の低さによって、しばしばダイナミックなぼかしに悩まされる。
画像復元電位(IRP)に着目した新しい概念を提案する。
論文 参考訳(メタデータ) (2022-03-22T14:10:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。