論文の概要: Recognition-Guided Diffusion Model for Scene Text Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2311.13317v1
• Date: Wed, 22 Nov 2023 11:10:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 15:17:24.467375
• Title: Recognition-Guided Diffusion Model for Scene Text Image Super-Resolution
• Title（参考訳）: シーンテキスト画像の超解像に対する認識誘導拡散モデル
• Authors: Yuxuan Zhou, Liangcai Gao, Zhi Tang, Baole Wei
• Abstract要約: Scene Text Image Super-Resolution (STISR)は、低解像度(LR)画像におけるテキストの解像度と可視性を高めることを目的としている。 従来は差別的畳み込みニューラルネットワーク(CNN)を多種多様なテキストガイダンスで用いていた。 本稿では,シーンテキスト画像の認識誘導拡散モデルであるRGDiffSRを紹介する。
• 参考スコア（独自算出の注目度）: 15.391125077873745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scene Text Image Super-Resolution (STISR) aims to enhance the resolution and legibility of text within low-resolution (LR) images, consequently elevating recognition accuracy in Scene Text Recognition (STR). Previous methods predominantly employ discriminative Convolutional Neural Networks (CNNs) augmented with diverse forms of text guidance to address this issue. Nevertheless, they remain deficient when confronted with severely blurred images, due to their insufficient generation capability when little structural or semantic information can be extracted from original images. Therefore, we introduce RGDiffSR, a Recognition-Guided Diffusion model for scene text image Super-Resolution, which exhibits great generative diversity and fidelity even in challenging scenarios. Moreover, we propose a Recognition-Guided Denoising Network, to guide the diffusion model generating LR-consistent results through succinct semantic guidance. Experiments on the TextZoom dataset demonstrate the superiority of RGDiffSR over prior state-of-the-art methods in both text recognition accuracy and image fidelity.
• Abstract（参考訳）: Scene Text Image Super-Resolution (STISR)は、低解像度(LR)画像中のテキストの解像度と可視性を高め、Scene Text Recognition (STR)における認識精度を高めることを目的としている。 従来は差別的畳み込みニューラルネットワーク(CNN)を多種多様なテキストガイダンスで拡張してこの問題に対処していた。 それでも、本来の画像から構造的あるいは意味的な情報を抽出できない場合、生成能力が不十分なため、ひどくぼやけた画像に直面すると不足する。 そこで本研究では,テキスト画像の超解像に対する認識誘導拡散モデルであるrgdiffsrを提案する。 さらに,LR一貫性のある結果を生成する拡散モデルを簡潔なセマンティックガイダンスにより誘導する認識誘導型Denoising Networkを提案する。 TextZoomデータセットの実験では、テキスト認識精度と画像忠実度の両方において、従来の最先端手法よりもRGDiffSRの方が優れていることを示した。

関連論文リスト

• PEAN: A Diffusion-Based Prior-Enhanced Attention Network for Scene Text Image Super-Resolution [18.936806519546508]
  シーンテキスト画像スーパーレゾリューション(STISR)は,低解像度のシーンテキスト画像の解像度と可読性を同時に向上することを目的としている。 シーンテキスト画像の視覚構造と意味情報の2つの要因が認識性能に大きな影響を及ぼす。 本稿では,これらの要因による影響を軽減するために,事前注意ネットワーク(PEAN)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:11:20Z)
• CoSeR: Bridging Image and Language for Cognitive Super-Resolution [74.24752388179992]
  本稿では,低解像度画像の理解能力を備えたSRモデルを実現するCoSeR(Cognitive Super-Resolution)フレームワークを提案する。 画像の外観と言語理解を組み合わせることで、認知的な埋め込みを生成する。 画像の忠実度をさらに向上させるため、「オール・イン・アテンション」と呼ばれる新しい条件注入方式を提案する。
  論文  参考訳（メタデータ） (2023-11-27T16:33:29Z)
• Image Super-Resolution with Text Prompt Diffusion [118.023531454099]
  画像SRにテキストプロンプトを導入し、劣化前の情報を提供する。 PromptSRは、事前訓練された言語モデル(例えば、T5やCLIP)を使用して復元を強化する。 実験により、テキストプロンプトをSRに導入すると、合成画像と実世界の画像の両方で優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-24T05:11:35Z)
• RSDiff: Remote Sensing Image Generation from Text Using Diffusion Model [0.8747606955991705]
  本研究では,高解像度衛星画像をテキストプロンプトから合成するための2段階拡散モデル手法を提案する。 このパイプラインは、テキスト入力に基づいて初期画像を生成する低解像度拡散モデル(LRDM)と、これらの画像を高解像度出力に洗練する超解拡散モデル(SRDM)から構成される。
  論文  参考訳（メタデータ） (2023-09-03T09:34:49Z)
• DiffDis: Empowering Generative Diffusion Model with Cross-Modal Discrimination Capability [75.9781362556431]
  本稿では,拡散過程下での1つのフレームワークに,モダクティブと差別的事前学習を統一するDiffDisを提案する。 DiffDisは画像生成タスクと画像テキスト識別タスクの両方において単一タスクモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T05:03:48Z)
• TextDiff: Mask-Guided Residual Diffusion Models for Scene Text Image Super-Resolution [18.73348268987249]
  TextDiffは、シーンテキストイメージの超解像度に適した拡散ベースのフレームワークである。 公開ベンチマークデータセット上での最先端(SOTA)パフォーマンスを実現する。 提案するMDDモジュールは,SOTA法により生成されたテキストエッジを効果的にシャープするプラグイン・アンド・プレイである。
  論文  参考訳（メタデータ） (2023-08-13T11:02:16Z)
• Self-supervised Character-to-Character Distillation for Text Recognition [54.12490492265583]
  そこで本研究では,テキスト表現学習を容易にする汎用的な拡張を可能にする,自己教師型文字-文字-文字間蒸留法CCDを提案する。 CCDは、テキスト認識の1.38%、テキストセグメンテーションの1.7%、PSNRの0.24dB、超解像の0.0321(SSIM)で、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2022-11-01T05:48:18Z)
• Scene Text Image Super-Resolution via Content Perceptual Loss and Criss-Cross Transformer Blocks [48.81850740907517]
  テキスト対応のテキスト・スーパー・リゾリューション・フレームワークであるTATSRについて述べる。 Criss-Cross Transformer Blocks (CCTBs) と新しい Content Perceptual (CP) Loss を用いて、ユニークなテキスト特性を効果的に学習する。 認識精度と人間の知覚の両方の観点から、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-13T11:48:45Z)
• Rethinking Super-Resolution as Text-Guided Details Generation [21.695227836312835]
  テキストと画像のモダリティからの情報を有効に活用できるテキストガイド型超解法(TGSR)フレームワークを提案する。 提案したTGSRは、粗い処理によってテキスト記述と一致するHR画像の詳細を生成することができる。
  論文  参考訳（メタデータ） (2022-07-14T01:46:38Z)
• Scene Text Image Super-Resolution in the Wild [112.90416737357141]
  低解像度のテキスト画像は、携帯電話が捉えた文書のような自然の場面でよく見られる。 従来は、合成低解像度画像に対して、単一の画像超解像法 (SISR) を訓練していた。 実際のシーンテキストSRデータセットであるTextZoomをプロポーズする。 この写真には、野生の焦点距離の異なるカメラが捉えた、実際の低解像度と高解像度の2つの画像が含まれている。
  論文  参考訳（メタデータ） (2020-05-07T09:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。