Fugu-MT 論文翻訳(概要): PEAN: A Diffusion-Based Prior-Enhanced Attention Network for Scene Text Image Super-Resolution

論文の概要: PEAN: A Diffusion-Based Prior-Enhanced Attention Network for Scene Text Image Super-Resolution

arxiv url: http://arxiv.org/abs/2311.17955v3
Date: Tue, 23 Jul 2024 09:09:33 GMT
ステータス: 処理完了
システム内更新日: 2024-07-24 23:23:10.452650
Title: PEAN: A Diffusion-Based Prior-Enhanced Attention Network for Scene Text Image Super-Resolution
Title（参考訳）: PEAN:Scene Text Image Super-Resolutionのための拡散型事前注意ネットワーク
Authors: Zuoyan Zhao, Hui Xue, Pengfei Fang, Shipeng Zhu,
Abstract要約: シーンテキスト画像スーパーレゾリューション(STISR)は,低解像度のシーンテキスト画像の解像度と可読性を同時に向上することを目的としている。シーンテキスト画像の視覚構造と意味情報の2つの要因が認識性能に大きな影響を及ぼす。本稿では,これらの要因による影響を軽減するために,事前注意ネットワーク(PEAN)を提案する。
参考スコア（独自算出の注目度）: 18.936806519546508
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Scene text image super-resolution (STISR) aims at simultaneously increasing the resolution and readability of low-resolution scene text images, thus boosting the performance of the downstream recognition task. Two factors in scene text images, visual structure and semantic information, affect the recognition performance significantly. To mitigate the effects from these factors, this paper proposes a Prior-Enhanced Attention Network (PEAN). Specifically, an attention-based modulation module is leveraged to understand scene text images by neatly perceiving the local and global dependence of images, despite the shape of the text. Meanwhile, a diffusion-based module is developed to enhance the text prior, hence offering better guidance for the SR network to generate SR images with higher semantic accuracy. Additionally, a multi-task learning paradigm is employed to optimize the network, enabling the model to generate legible SR images. As a result, PEAN establishes new SOTA results on the TextZoom benchmark. Experiments are also conducted to analyze the importance of the enhanced text prior as a means of improving the performance of the SR network. Code is available at https://github.com/jdfxzzy/PEAN.
Abstract（参考訳）: Scene Text Image Super- resolution (STISR) は、低解像度のシーンテキスト画像の解像度と可読性を同時に向上することを目的としており、下流認識タスクの性能を高めることを目的としている。シーンテキスト画像の視覚構造と意味情報の2つの要因が認識性能に大きな影響を及ぼす。そこで本稿では,これらの要因の影響を軽減するために,PEAN(Presideed-Enhanced Attention Network)を提案する。具体的には、テキストの形状に関わらず、画像の局所的およびグローバル的依存を正確に知覚することで、シーンテキストイメージを理解するために、注意に基づく変調モジュールを利用する。一方、拡散ベースのモジュールは、先行するテキストを強化するために開発され、SRネットワークがより高度な意味的精度でSR画像を生成するためのより良いガイダンスを提供する。さらに、マルチタスク学習パラダイムを用いてネットワークを最適化し、モデルが可読なSR画像を生成する。その結果、PEANはTextZoomベンチマークで新しいSOTA結果を確立した。また、SRネットワークの性能を向上させる手段として、前もって強化されたテキストの重要性を分析する実験を行った。コードはhttps://github.com/jdfxzzy/PEAN.comで入手できる。

関連論文リスト

CoSeR: Bridging Image and Language for Cognitive Super-Resolution [74.24752388179992]
本稿では,低解像度画像の理解能力を備えたSRモデルを実現するCoSeR(Cognitive Super-Resolution)フレームワークを提案する。画像の外観と言語理解を組み合わせることで、認知的な埋め込みを生成する。画像の忠実度をさらに向上させるため、「オール・イン・アテンション」と呼ばれる新しい条件注入方式を提案する。
論文参考訳（メタデータ） (2023-11-27T16:33:29Z)
Enhancing Diffusion Models with Text-Encoder Reinforcement Learning [63.41513909279474]
テキストから画像への拡散モデルは通常、ログのような目的を最適化するために訓練される。近年の研究では、強化学習や直接バックプロパゲーションを通じて人間の報酬を用いて拡散U-Netを精製することでこの問題に対処している。我々は、強化学習によってテキストエンコーダを微調整することにより、結果のテキストイメージアライメントを強化することができることを示した。
論文参考訳（メタデータ） (2023-11-27T09:39:45Z)
Image Super-Resolution with Text Prompt Diffusion [123.94190649199449]
画像SRにテキストプロンプトを導入し、劣化前の情報を提供する。 PromptSRは、事前訓練された言語モデル(例えば、T5やCLIP)を使用して復元を強化する。実験により、テキストプロンプトをSRに導入すると、合成画像と実世界の画像の両方で優れた結果が得られることが示された。
論文参考訳（メタデータ） (2023-11-24T05:11:35Z)
Recognition-Guided Diffusion Model for Scene Text Image Super-Resolution [15.391125077873745]
Scene Text Image Super-Resolution (STISR)は、低解像度(LR)画像におけるテキストの解像度と可視性を高めることを目的としている。従来は差別的畳み込みニューラルネットワーク(CNN)を多種多様なテキストガイダンスで用いていた。本稿では,シーンテキスト画像の認識誘導拡散モデルであるRGDiffSRを紹介する。
論文参考訳（メタデータ） (2023-11-22T11:10:45Z)
TextDiff: Mask-Guided Residual Diffusion Models for Scene Text Image Super-Resolution [18.73348268987249]
TextDiffは、シーンテキストイメージの超解像度に適した拡散ベースのフレームワークである。公開ベンチマークデータセット上での最先端(SOTA)パフォーマンスを実現する。提案するMDDモジュールは,SOTA法により生成されたテキストエッジを効果的にシャープするプラグイン・アンド・プレイである。
論文参考訳（メタデータ） (2023-08-13T11:02:16Z)
Improving Scene Text Image Super-resolution via Dual Prior Modulation Network [20.687100711699788]
Scene Text Image Super- resolution (STISR) はテキスト画像の解像度と可視性を同時に向上することを目的としている。既存のアプローチは、シーンテキストのセマンティックな決定性の境界であるテキストのグローバルな構造を無視している。我々の研究はDPMN(Dual Prior Modulation Network)と呼ばれるプラグイン・アンド・プレイ・モジュールを提案する。
論文参考訳（メタデータ） (2023-02-21T02:59:37Z)
Hierarchical Similarity Learning for Aliasing Suppression Image Super-Resolution [64.15915577164894]
エイリアスの影響を抑制するために階層画像超解像ネットワーク(HSRNet)を提案する。 HSRNetは、他の作品よりも定量的かつ視覚的なパフォーマンスを向上し、エイリアスをより効果的に再送信する。
論文参考訳（メタデータ） (2022-06-07T14:55:32Z)
A Text Attention Network for Spatial Deformation Robust Scene Text Image Super-resolution [13.934846626570286]
シーンテキスト画像の超解像度は、低解像度画像におけるテキストの解像度と可読性を向上させることを目的としている。空間的に変形したテキスト、特に回転して湾曲したテキストの高解像度画像の再構成は依然として困難である。この問題に対処するために,CNN ベースの Text ATTention Network (TATT) を提案する。
論文参考訳（メタデータ） (2022-03-17T15:28:29Z)
Text Prior Guided Scene Text Image Super-resolution [11.396781380648756]
Scene Text Image Super- resolution (STISR) は低解像度(LR)シーンの解像度と画質を改善することを目的としている。我々は、STISRモデルトレーニングにカテゴリテキストを組み込む試みを行っている。 STISRのためのマルチステージテキストガイド付き超解像フレームワークを提案する。
論文参考訳（メタデータ） (2021-06-29T12:52:33Z)
DF-GAN: A Simple and Effective Baseline for Text-to-Image Synthesis [80.54273334640285]
本稿では,異なる生成装置間の絡み合わずに高解像度画像を直接合成する,新しい1段階のテキスト・ツー・イメージバックボーンを提案する。また,Matching-Aware Gradient Penalty と One-Way Output を組み合わせた新たなターゲット認識識別器を提案する。現在の最先端手法と比較して,提案するDF-GANはよりシンプルだが,現実的およびテキストマッチング画像の合成には効率的である。
論文参考訳（メタデータ） (2020-08-13T12:51:17Z)
Scene Text Image Super-Resolution in the Wild [112.90416737357141]
低解像度のテキスト画像は、携帯電話が捉えた文書のような自然の場面でよく見られる。従来は、合成低解像度画像に対して、単一の画像超解像法 (SISR) を訓練していた。実際のシーンテキストSRデータセットであるTextZoomをプロポーズする。この写真には、野生の焦点距離の異なるカメラが捉えた、実際の低解像度と高解像度の2つの画像が含まれている。
論文参考訳（メタデータ） (2020-05-07T09:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。