論文の概要: Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild
- arxiv url: http://arxiv.org/abs/2401.13627v2
- Date: Wed, 3 Apr 2024 08:12:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 22:17:46.264512
- Title: Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild
- Title(参考訳): 優れたものへのスケーリング:野生のフォトリアリスティック画像復元のためのモデルスケーリングの実践
- Authors: Fanghua Yu, Jinjin Gu, Zheyuan Li, Jinfan Hu, Xiangtao Kong, Xintao Wang, Jingwen He, Yu Qiao, Chao Dong,
- Abstract要約: SUPIR (Scaling-UP Image Restoration) は、生成前処理とモデルスケールアップのパワーを利用する、画期的な画像復元手法である。
モデルトレーニングのための2000万の高解像度高画質画像からなるデータセットを収集し、それぞれに記述的テキストアノテーションを付加する。
- 参考スコア(独自算出の注目度): 57.06779516541574
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce SUPIR (Scaling-UP Image Restoration), a groundbreaking image restoration method that harnesses generative prior and the power of model scaling up. Leveraging multi-modal techniques and advanced generative prior, SUPIR marks a significant advance in intelligent and realistic image restoration. As a pivotal catalyst within SUPIR, model scaling dramatically enhances its capabilities and demonstrates new potential for image restoration. We collect a dataset comprising 20 million high-resolution, high-quality images for model training, each enriched with descriptive text annotations. SUPIR provides the capability to restore images guided by textual prompts, broadening its application scope and potential. Moreover, we introduce negative-quality prompts to further improve perceptual quality. We also develop a restoration-guided sampling method to suppress the fidelity issue encountered in generative-based restoration. Experiments demonstrate SUPIR's exceptional restoration effects and its novel capacity to manipulate restoration through textual prompts.
- Abstract(参考訳): 本稿では,生成前処理とモデルスケールアップのパワーを活かした画期的な画像復元手法であるSUPIR(Scaling-UP Image Restoration)を紹介する。
SUPIRはマルチモーダル技術と先進的な生成技術を応用し、インテリジェントで現実的な画像復元において大きな進歩を遂げた。
SUPIR内の重要な触媒として、モデルスケーリングはその能力を劇的に向上させ、画像復元の新しい可能性を示す。
モデルトレーニングのための2000万の高解像度高画質画像からなるデータセットを収集し、それぞれに記述的テキストアノテーションを付加する。
SUPIRは、テキストプロンプトでガイドされたイメージを復元する機能を提供し、アプリケーションの範囲と可能性を広げる。
さらに、知覚品質をさらに改善するために、ネガティブ品質プロンプトを導入します。
また, 再生型修復における忠実度問題を抑制するために, 修復誘導サンプリング法を開発した。
実験では、SUPIRの異常な修復効果と、テキストのプロンプトによって復元を操作する新しい能力を示す。
関連論文リスト
- Photo-Realistic Image Restoration in the Wild with Controlled Vision-Language Models [14.25759541950917]
この研究は、能動的視覚言語モデルと合成分解パイプラインを活用して、野生(ワイルドIR)における画像復元を学習する。
我々の基底拡散モデルは画像復元SDE(IR-SDE)である。
論文 参考訳(メタデータ) (2024-04-15T12:34:21Z) - Empowering Image Recovery_ A Multi-Attention Approach [96.25892659985342]
Diverse Restormer (DART) は、様々なソースからの情報を統合して復元課題に対処する画像復元手法である。
DARTは、全体的なパフォーマンスを高めるために、カスタマイズされたアテンションメカニズムを採用している。
5つの復元作業における評価は、常にDARTを最前線に配置する。
論文 参考訳(メタデータ) (2024-04-06T12:50:08Z) - InstructIR: High-Quality Image Restoration Following Human Instructions [68.73167409192746]
本稿では,人間の手書きによる画像復元モデルを導出する手法を提案する。
InstructIRという手法は、いくつかの修復作業において最先端の結果を得る。
論文 参考訳(メタデータ) (2024-01-29T18:53:33Z) - Improving Image Restoration through Removing Degradations in Textual
Representations [60.79045963573341]
劣化画像のテキスト表現の劣化を除去し,画像復元を改善するための新たな視点を導入する。
クロスモーダル支援に対処するため,劣化した画像をテキスト表現にマッピングし,劣化を除去する手法を提案する。
特に、画像からテキストへのマッパーとテキスト復元モジュールをCLIP対応のテキストから画像へのモデルに組み込んで、ガイダンスを生成する。
論文 参考訳(メタデータ) (2023-12-28T19:18:17Z) - Prompt-based Ingredient-Oriented All-in-One Image Restoration [0.0]
複数の画像劣化課題に対処する新しいデータ成分指向手法を提案する。
具体的には、エンコーダを用いて特徴をキャプチャし、デコーダを誘導するための劣化情報を含むプロンプトを導入する。
我々の手法は最先端技術と競争的に機能する。
論文 参考訳(メタデータ) (2023-09-06T15:05:04Z) - RestoreFormer++: Towards Real-World Blind Face Restoration from
Undegraded Key-Value Pairs [63.991802204929485]
ブラインド顔復元は、未知の劣化のあるものから高品質な顔画像の復元を目的としている。
現在のアルゴリズムは、主に、高品質な詳細を補完し、驚くべき進歩を達成するために、事前を導入する。
RestoreFormer++を提案する。これは、コンテキスト情報と事前との相互作用をモデル化するための、完全な空間的アテンション機構を導入します。
RestoreFormer++は、合成と実世界の両方のデータセットで最先端のアルゴリズムより優れています。
論文 参考訳(メタデータ) (2023-08-14T16:04:53Z) - All-in-one Multi-degradation Image Restoration Network via Hierarchical
Degradation Representation [47.00239809958627]
我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。
AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。
この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
論文 参考訳(メタデータ) (2023-08-06T04:51:41Z) - Towards Authentic Face Restoration with Iterative Diffusion Models and
Beyond [30.114913184727]
我々は$textbfIDM$, $textbfI$teratively learned face restoration systemを$textbfD$iffusionに基づいて提案する。
ブラインドフェイス修復作業における優れた性能を示す。
論文 参考訳(メタデータ) (2023-07-18T06:31:01Z) - PromptIR: Prompting for All-in-One Blind Image Restoration [64.02374293256001]
我々は、オールインワン画像復元のためのプロンプトIR(PromptIR)を提案する。
本手法では, 劣化特異的情報をエンコードするプロンプトを用いて, 復元ネットワークを動的に案内する。
PromptIRは、軽量なプロンプトがほとんどない汎用的で効率的なプラグインモジュールを提供する。
論文 参考訳(メタデータ) (2023-06-22T17:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。