論文の概要: Improving Image Restoration through Removing Degradations in Textual Representations

• arxiv url: http://arxiv.org/abs/2312.17334v1
• Date: Thu, 28 Dec 2023 19:18:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-02 14:49:56.252301
• Title: Improving Image Restoration through Removing Degradations in Textual Representations
• Title（参考訳）: テキスト表現の劣化除去による画像復元の改善
• Authors: Jingbo Lin, Zhilu Zhang, Yuxiang Wei, Dongwei Ren, Dongsheng Jiang, Wangmeng Zuo
• Abstract要約: 劣化画像のテキスト表現の劣化を除去し,画像復元を改善するための新たな視点を導入する。 クロスモーダル支援に対処するため,劣化した画像をテキスト表現にマッピングし,劣化を除去する手法を提案する。 特に、画像からテキストへのマッパーとテキスト復元モジュールをCLIP対応のテキストから画像へのモデルに組み込んで、ガイダンスを生成する。
• 参考スコア（独自算出の注目度）: 60.79045963573341
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce a new perspective for improving image restoration by removing degradation in the textual representations of a given degraded image. Intuitively, restoration is much easier on text modality than image one. For example, it can be easily conducted by removing degradation-related words while keeping the content-aware words. Hence, we combine the advantages of images in detail description and ones of text in degradation removal to perform restoration. To address the cross-modal assistance, we propose to map the degraded images into textual representations for removing the degradations, and then convert the restored textual representations into a guidance image for assisting image restoration. In particular, We ingeniously embed an image-to-text mapper and text restoration module into CLIP-equipped text-to-image models to generate the guidance. Then, we adopt a simple coarse-to-fine approach to dynamically inject multi-scale information from guidance to image restoration networks. Extensive experiments are conducted on various image restoration tasks, including deblurring, dehazing, deraining, and denoising, and all-in-one image restoration. The results showcase that our method outperforms state-of-the-art ones across all these tasks. The codes and models are available at \url{https://github.com/mrluin/TextualDegRemoval}.
• Abstract（参考訳）: 本稿では,与えられた劣化画像のテクスト表現の劣化を除去し,画像復元を改善する新たな視点を提案する。 直感的には、復元は画像よりもテキストのモダリティがはるかに容易である。 例えば、内容認識語を維持しながら、劣化関連語を取り除き、容易に行うことができる。 したがって、画像の詳細な記述と劣化除去におけるテキストの利点を組み合わせて復元を行う。 クロスモーダル支援に対処するため,劣化した画像をテキスト表現にマッピングして劣化を除去し,復元したテキスト表現をガイダンス画像に変換し,画像復元を支援する。 特に、画像からテキストへのマッパーとテキスト復元モジュールをCLIP対応のテキストから画像へのモデルに組み込んでガイダンスを生成する。 そこで本研究では,画像復元ネットワークへの誘導から動的にマルチスケール情報を注入する手法を提案する。 脱臭,脱臭,脱臭,脱鼻,オールインワン画像修復など,様々な画像修復作業について広範囲にわたる実験を行った。 その結果,本手法はすべてのタスクにおいて最先端の手法よりも優れていることがわかった。 コードとモデルは \url{https://github.com/mrluin/textualdegremoval} で利用可能である。

関連論文リスト

• InstructIR: High-Quality Image Restoration Following Human Instructions [61.1546287323136]
  本稿では,人間の手書きによる画像復元モデルを導出する手法を提案する。 InstructIRという手法は、いくつかの修復作業において最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-01-29T18:53:33Z)
• Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild [57.06779516541574]
  SUPIR (Scaling-UP Image Restoration) は、生成前処理とモデルスケールアップのパワーを利用する、画期的な画像復元手法である。 モデルトレーニングのための2000万の高解像度高画質画像からなるデータセットを収集し、それぞれに記述的テキストアノテーションを付加する。
  論文  参考訳（メタデータ） (2024-01-24T17:58:07Z)
• SPIRE: Semantic Prompt-Driven Image Restoration [66.26165625929747]
  セマンティック・復元型画像復元フレームワークであるSPIREを開発した。 本手法は,復元強度の量的仕様を言語ベースで記述することで,より詳細な指導を支援する最初のフレームワークである。 本実験は, SPIREの修復性能が, 現状と比較して優れていることを示すものである。
  論文  参考訳（メタデータ） (2023-12-18T17:02:30Z)
• Image Super-Resolution with Text Prompt Diffusion [118.023531454099]
  画像SRにテキストプロンプトを導入し、劣化前の情報を提供する。 PromptSRは、事前訓練された言語モデル(例えば、T5やCLIP)を使用して復元を強化する。 実験により、テキストプロンプトをSRに導入すると、合成画像と実世界の画像の両方で優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-24T05:11:35Z)
• All-in-one Multi-degradation Image Restoration Network via Hierarchical Degradation Representation [47.00239809958627]
  我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。 AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。 この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
  論文  参考訳（メタデータ） (2023-08-06T04:51:41Z)
• PromptIR: Prompting for All-in-One Blind Image Restoration [64.02374293256001]
  我々は、オールインワン画像復元のためのプロンプトIR(PromptIR)を提案する。 本手法では, 劣化特異的情報をエンコードするプロンプトを用いて, 復元ネットワークを動的に案内する。 PromptIRは、軽量なプロンプトがほとんどない汎用的で効率的なプラグインモジュールを提供する。
  論文  参考訳（メタデータ） (2023-06-22T17:59:52Z)
• Image Restoration using Feature-guidance [43.02281823557039]
  そこで本稿では,画像の劣化の空間的特性と,画像固有の特性を扱うための新しいアプローチを提案する。 修復作業は,分解局所化と劣化地域誘導修復の2段階に分解する。 この補助作業のために訓練されたモデルは、修復ネットワークのトレーニングをガイドするために活用できる重要な地域知識を含んでいることを実証する。
  論文  参考訳（メタデータ） (2022-01-01T13:10:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。