Fugu-MT 論文翻訳(概要): TextDiff: Mask-Guided Residual Diffusion Models for Scene Text Image Super-Resolution

論文の概要: TextDiff: Mask-Guided Residual Diffusion Models for Scene Text Image Super-Resolution

arxiv url: http://arxiv.org/abs/2308.06743v1
Date: Sun, 13 Aug 2023 11:02:16 GMT
ステータス: 処理完了
システム内更新日: 2023-08-15 15:34:49.030976
Title: TextDiff: Mask-Guided Residual Diffusion Models for Scene Text Image Super-Resolution
Title（参考訳）: TextDiff:Scene Text Image Super-Resolutionのためのマスクガイド型残留拡散モデル
Authors: Baolin Liu and Zongyuan Yang and Pengfei Wang and Junjie Zhou and Ziqi Liu and Ziyi Song and Yan Liu and Yongping Xiong
Abstract要約: TextDiffは、シーンテキストイメージの超解像度に適した拡散ベースのフレームワークである。公開ベンチマークデータセット上での最先端(SOTA)パフォーマンスを実現する。提案するMDDモジュールは,SOTA法により生成されたテキストエッジを効果的にシャープするプラグイン・アンド・プレイである。
参考スコア（独自算出の注目度）: 18.73348268987249
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The goal of scene text image super-resolution is to reconstruct high-resolution text-line images from unrecognizable low-resolution inputs. The existing methods relying on the optimization of pixel-level loss tend to yield text edges that exhibit a notable degree of blurring, thereby exerting a substantial impact on both the readability and recognizability of the text. To address these issues, we propose TextDiff, the first diffusion-based framework tailored for scene text image super-resolution. It contains two modules: the Text Enhancement Module (TEM) and the Mask-Guided Residual Diffusion Module (MRD). The TEM generates an initial deblurred text image and a mask that encodes the spatial location of the text. The MRD is responsible for effectively sharpening the text edge by modeling the residuals between the ground-truth images and the initial deblurred images. Extensive experiments demonstrate that our TextDiff achieves state-of-the-art (SOTA) performance on public benchmark datasets and can improve the readability of scene text images. Moreover, our proposed MRD module is plug-and-play that effectively sharpens the text edges produced by SOTA methods. This enhancement not only improves the readability and recognizability of the results generated by SOTA methods but also does not require any additional joint training. Available Codes:https://github.com/Lenubolim/TextDiff.
Abstract（参考訳）: シーンテキスト画像のスーパーレゾリューションの目的は、認識不能な低解像度入力から高解像度テキストライン画像を再構成することである。画素レベルの損失の最適化に依存する既存の手法は、顕著なぼやけ度を示すテキストエッジを生成する傾向があり、それによってテキストの可読性と認識性の両方に大きな影響を及ぼす。そこで本稿では,テキスト画像の超解像に適した最初の拡散ベースフレームワークであるtextdiffを提案する。 Text Enhancement Module (TEM) と Mask-Guided Residual Diffusion Module (MRD) の2つのモジュールがある。 TEMは、初期劣化したテキスト画像と、テキストの空間的位置を符号化するマスクを生成する。 MRDは、接地トラス画像と初期劣化画像の間の残差をモデル化することにより、テキストエッジを効果的にシャープする。広範な実験により、textdiffはパブリックベンチマークデータセットで最先端(sota)性能を達成し、シーンテキスト画像の可読性を向上させることが証明された。さらに,本提案モジュールは,SOTA法により生成されたテキストエッジを効果的にシャープするプラグイン・アンド・プレイである。この強化は、SOTA法によって生成された結果の可読性と認識性を向上するだけでなく、追加のジョイントトレーニングも必要としない。利用可能なコード:https://github.com/Lenubolim/TextDiff。

関連論文リスト

Class-Aware Mask-Guided Feature Refinement for Scene Text Recognition [56.968108142307976]
CAM(Class-Aware Mask-Guided Feature refinement)と呼ばれる新しい手法を提案する。本手法では,背景およびテキストスタイルのノイズを抑制するために,標準クラス対応グリフマスクを導入している。標準マスク特徴とテキスト特徴とのアライメントを強化することにより、モジュールはより効果的な融合を保証する。
論文参考訳（メタデータ） (2024-02-21T09:22:45Z)
PEAN: A Diffusion-Based Prior-Enhanced Attention Network for Scene Text Image Super-Resolution [18.936806519546508]
シーンテキスト画像スーパーレゾリューション(STISR)は,低解像度のシーンテキスト画像の解像度と可読性を同時に向上することを目的としている。シーンテキスト画像の視覚構造と意味情報の2つの要因が認識性能に大きな影響を及ぼす。本稿では,これらの要因による影響を軽減するために,事前注意ネットワーク(PEAN)を提案する。
論文参考訳（メタデータ） (2023-11-29T08:11:20Z)
Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models [63.99110667987318]
DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
論文参考訳（メタデータ） (2023-11-28T06:51:28Z)
Scene Text Image Super-resolution based on Text-conditional Diffusion Models [0.0]
シーンテキスト画像スーパーレゾリューション(STISR)は,シーンテキスト認識のための前処理手法として最近大きな成功を収めている。本研究では,テキスト条件拡散モデル(DM)をSTISRタスクに適用する。 LR-HRペアテキスト画像データセットのための新しいフレームワークを提案する。
論文参考訳（メタデータ） (2023-11-16T10:32:18Z)
Towards Robust Scene Text Image Super-resolution via Explicit Location Enhancement [59.66539728681453]
シーンテキスト画像スーパーレゾリューション(STISR)は、下流のシーンテキスト認識精度を高めながら画質を向上させることを目的としている。既存の手法のほとんどは、前景(文字領域)と背景(非文字領域)を前方プロセスで等しく扱う。超解像のための高レベルテキスト特異的ガイダンスを生成するために,文字領域を明示的にモデル化する新しい手法 LEMMA を提案する。
論文参考訳（メタデータ） (2023-07-19T05:08:47Z)
TextDiffuser: Diffusion Models as Text Painters [118.30923824681642]
我々は、背景に忠実な視覚的に魅力的なテキストで画像を生成することに焦点を当てたTextDiffuserを紹介した。我々は,OCRアノテーションを用いた最初の大規模テキスト画像データセットであるMARIO-10Mに,1000万の画像テキストペアをコントリビュートする。テキストプロンプトのみまたはテキストテンプレート画像と併用して高品質なテキスト画像を作成し,テキストによる不完全な画像の再構成を行う,テキストディフューザは柔軟かつ制御可能であることを示す。
論文参考訳（メタデータ） (2023-05-18T10:16:19Z)
Improving Scene Text Image Super-resolution via Dual Prior Modulation Network [20.687100711699788]
Scene Text Image Super- resolution (STISR) はテキスト画像の解像度と可視性を同時に向上することを目的としている。既存のアプローチは、シーンテキストのセマンティックな決定性の境界であるテキストのグローバルな構造を無視している。我々の研究はDPMN(Dual Prior Modulation Network)と呼ばれるプラグイン・アンド・プレイ・モジュールを提案する。
論文参考訳（メタデータ） (2023-02-21T02:59:37Z)
Scene Text Image Super-Resolution via Content Perceptual Loss and Criss-Cross Transformer Blocks [48.81850740907517]
テキスト対応のテキスト・スーパー・リゾリューション・フレームワークであるTATSRについて述べる。 Criss-Cross Transformer Blocks (CCTBs) と新しい Content Perceptual (CP) Loss を用いて、ユニークなテキスト特性を効果的に学習する。認識精度と人間の知覚の両方の観点から、最先端の手法よりも優れています。
論文参考訳（メタデータ） (2022-10-13T11:48:45Z)
A Text Attention Network for Spatial Deformation Robust Scene Text Image Super-resolution [13.934846626570286]
シーンテキスト画像の超解像度は、低解像度画像におけるテキストの解像度と可読性を向上させることを目的としている。空間的に変形したテキスト、特に回転して湾曲したテキストの高解像度画像の再構成は依然として困難である。この問題に対処するために,CNN ベースの Text ATTention Network (TATT) を提案する。
論文参考訳（メタデータ） (2022-03-17T15:28:29Z)
Scene Text Image Super-Resolution in the Wild [112.90416737357141]
低解像度のテキスト画像は、携帯電話が捉えた文書のような自然の場面でよく見られる。従来は、合成低解像度画像に対して、単一の画像超解像法 (SISR) を訓練していた。実際のシーンテキストSRデータセットであるTextZoomをプロポーズする。この写真には、野生の焦点距離の異なるカメラが捉えた、実際の低解像度と高解像度の2つの画像が含まれている。
論文参考訳（メタデータ） (2020-05-07T09:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。