論文の概要: Reading the Unreadable: Text-Aware Image Super-Resolution Needs Reasoning
- arxiv url: http://arxiv.org/abs/2611.15449v1
- Date: Wed, 11 Nov 2026 13:19:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.150608
- Title: Reading the Unreadable: Text-Aware Image Super-Resolution Needs Reasoning
- Title(参考訳): 読めないものを読む:テキスト認識の超解像は推論を必要とする
- Abstract要約: テキスト対応画像スーパーレゾリューションは、テキストコンテンツを保存しながら低解像度入力から高解像度画像を復元することを目的としている。
既存の方法では、これを視覚回復の問題として扱うが、過度に劣化したテキストは、局所的な視覚的証拠だけでは読めないことが多い。
我々は、外部MLLMを用いて劣化したテキストを推測し、その結果のキャプションをテキスト条件のSRモデルに供給する訓練不要なプラグインであるReasoning Transfer via Captioning (RTC)を提案する。
- 参考スコア(独自算出の注目度): 30.11554650946688
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-aware image super-resolution (TAISR) aims to recover high-resolution images from low-resolution inputs while preserving textual content. Existing methods treat this as a visual restoration problem, yet severely degraded text often cannot be read from local visual evidence alone. Humans instead read it by reasoning over image context, logical patterns, and prior knowledge. This raises a fundamental question: Does TAISR need reasoning? To answer this, we introduce two diagnostic tools. The first, ReasonText, is a human-curated benchmark that separates reasoning-required text from locally recoverable text. The second, Ground-Truth Text-Crop Accuracy (GTTCA), is a recognition-based metric that measures text restoration quality without text detection errors. Evaluating twelve recent super-resolution (SR) models, we find a consistent and substantial performance drop on reasoning-required text, revealing a systematic blind spot. Two observations point to a remedy. One is that text-conditioned SR models restore text substantially better when given ground-truth text. The other is that multimodal large language models (MLLMs) can read degraded text in low-resolution images through reasoning. We therefore propose Reasoning Transfer via Captioning (RTC), a training-free plug-in that uses an external MLLM to infer the degraded text and feeds the resulting caption to a text-conditioned SR model. RTC consistently improves all six text-conditioned SR models we evaluate, especially on reasoning-required text. Surprisingly, a real-world SR model with RTC can even outperform the TAISR model with RTC, suggesting that reasoning should be a core design axis for future TAISR.
- Abstract(参考訳): テキスト対応画像スーパーレゾリューション(TAISR)は、テキストコンテンツを保存しながら低解像度入力から高解像度画像を復元することを目的としている。
既存の方法では、これを視覚回復の問題として扱うが、過度に劣化したテキストは、局所的な視覚的証拠だけでは読めないことが多い。
その代わりに、画像コンテキスト、論理パターン、事前の知識を推論することで、人間はそれを読み取る。
TAISRは推論を必要とするのか?
これに答えるために、診断ツールを2つ導入する。
最初のReasonTextは、推論要求のテキストを局所的に回復可能なテキストから分離する人為的なベンチマークである。
第2のGTTCA(Garth-Truth Text-Crop Accuracy)は、テキスト検出エラーなしでテキストの復元品質を計測する認識ベースの指標である。
最近の12種類の超解像(SR)モデルを評価すると、推論要求テキストに対して一貫した実質的な性能低下が見られ、体系的な盲点が明らかになる。
2つの観察は治療を指しています。
ひとつは、テキスト条件付きSRモデルが、接地テキストを指定した場合、テキストをかなり良く復元することです。
もうひとつは、マルチモーダル大言語モデル(MLLM)は、推論によって低解像度の画像で劣化したテキストを読み取ることができることだ。
そこで我々は、外部MLLMを用いて劣化したテキストを推測し、その結果のキャプションをテキストコンディショニングSRモデルに供給する訓練不要なプラグインであるReasoning Transfer via Captioning (RTC)を提案する。
RTCは、評価した6つのテキスト条件SRモデル、特に推論要求テキストを一貫して改善する。
驚くべきことに、RTCを用いた実世界のSRモデルは、RTCによるTAISRモデルよりも優れており、推論は将来のTAISRのコア設計軸となるべきであることを示唆している。
関連論文リスト
- TOLA: Text-aware One-Step Latent Adaptation for Diffusion-based Text Image Super-Resolution [24.866488173238356]
テキスト画像超解像(TSR)は、未知の劣化の下で視覚的に忠実で読みやすいテキストを復元することを目的としている。
既存の拡散法は、高解像度画像またはそれ以前のテキストの多段階予測に依存している。
反復的な画像テキスト拡散を伴わないテキスト対応1ステップ遅延適応フレームワークTOLAを提案する。
論文 参考訳(メタデータ) (2026-09-24T08:48:10Z) - GLYPH-SR: Can We Achieve Both High-Quality Image Super-Resolution and High-Fidelity Text Recovery via VLM-guided Latent Diffusion Model? [6.601720172018393]
シーンテキスト(Scene-text)、すなわち、サイン、製品ラベル、店頭などの自然画像に埋め込まれたテキストは、しばしば最も実行可能な情報を運ぶ。
GLYPH-SRは、OCRデータでガイドされるText-SR Fusion ControlNet(TS-ControlNet)と、テキスト中心とシーン中心のガイダンスを交互に切り替えるピンポンスケジューラを使用している。
論文 参考訳(メタデータ) (2025-10-30T10:46:28Z) - Image Super-Resolution with Text Prompt Diffusion [118.023531454099]
画像SRにテキストプロンプトを導入し、劣化前の情報を提供する。
PromptSRは、最新のマルチモーダル大言語モデル(MLLM)を利用して、低解像度画像からプロンプトを生成する。
実験により、テキストプロンプトをSRに導入すると、合成画像と実世界の画像の両方で印象的な結果が得られることが示された。
論文 参考訳(メタデータ) (2023-11-24T05:11:35Z) - Scene Text Image Super-Resolution in the Wild [112.90416737357141]
低解像度のテキスト画像は、携帯電話が捉えた文書のような自然の場面でよく見られる。
従来は、合成低解像度画像に対して、単一の画像超解像法 (SISR) を訓練していた。
実際のシーンテキストSRデータセットであるTextZoomをプロポーズする。
この写真には、野生の焦点距離の異なるカメラが捉えた、実際の低解像度と高解像度の2つの画像が含まれている。
論文 参考訳(メタデータ) (2020-05-07T09:18:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。