論文の概要: Hawkeye: Reading Illegible Text with Vision Language Models

• arxiv url: http://arxiv.org/abs/2610.41254v1
• Date: Fri, 30 Oct 2026 04:55:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.616286
• Title: Hawkeye: Reading Illegible Text with Vision Language Models
• Title（参考訳）: Hawkeye: 視覚言語モデルで不可解なテキストを読む
• Abstract要約: textbfBSTRB (Blurry Scene Text Recognition Benchmark) は、実世界の1,699個のビデオシーケンスから派生した高忠実度アノテーションを持つ8,398個のノイズ画像サンプルの新しいベンチマークである。 我々は,BSTRBで微調整されたVLMである textbfHawkeye について,文脈的先行と画素レベルのアライメントを活用して,不可解なテキストの読み書きを行う。
• 参考スコア（独自算出の注目度）: 12.639320095079574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While modern Vision-Language Models (VLMs) have been remarkably successful in general scene text recognition, they consistently struggle with the long-tail distribution of text that is degraded by motion blur or low resolution. These limitations are particularly apparent in egocentric applications like smart glasses, where text is often captured in noisy environments. In this paper, we introduce the \textbf{BSTRB} (Blurry Scene Text Recognition Benchmark), a novel benchmark of 8,398 noisy image samples with high-fidelity annotations derived from 1,699 real-world video sequences. To support this, we present \textbf{Hawkeye}, a VLM fine-tuned on BSTRB to read and reason about illegible text by leveraging contextual priors and pixel-level alignment. Our results show that \name matches much larger VLMs on BSTRB overall and exceeds them on text at or below 20 pixels, in a single pass suited to real-time deployment. We characterize the resolution at which current VLMs begin to fail.
• Abstract（参考訳）: 現代の視覚言語モデル(VLM)は、一般的なシーンのテキスト認識において著しく成功したが、動きのぼやけや解像度の低さによって劣化するテキストの長い尾の分布に一貫して苦労している。 これらの制限は、スマートグラスのようなエゴセントリックなアプリケーションでは特に顕著で、ノイズの多い環境でテキストをキャプチャすることが多い。 本稿では,1,699個の実世界の映像シーケンスから抽出した高忠実度アノテーションを用いた8,398個のノイズ画像サンプルの新たなベンチマークである「textbf{BSTRB} (Blurry Scene Text Recognition Benchmark)」を紹介する。 これをサポートするために、BSTRBで微調整されたVLMであるtextbf{Hawkeye}を提示する。 以上の結果から, \name は BSTRB 上のより大きな VLM と一致し, テキスト上で 20 ピクセル以下で, 実時間展開に適した1回のパスで上回っていることがわかった。 我々は、現在のVLMが失敗し始める解像度を特徴づける。

関連論文リスト

• ReViCo: Unveiling the Limitations of VLMs in Visual Text Understanding via Error Correction [4.965105730448841]
  視覚言語モデル(VLM)は、一般的な視覚的タスクにおいて大きな成功を収めてきたが、画像内のテキストの理解に苦慮している。 本稿では,視覚的テキスト誤り訂正の新たなタスクを通じてVLMテキスト理解を評価するためのベンチマークであるReViCoを紹介する。
  論文  参考訳（メタデータ） (2026-08-27T14:06:11Z)
• TEVI: Text-Conditioned Editing of Visual Representations via Sparse Autoencoders for Improved Vision-Language Alignment [87.69757277913577]
  画像埋め込みから何を保持するかの信号としてキャプションを使用するフレームワークTEVIを提案する。 合成キャプションを用いた制御設定では,TEVIは,他のキャプションを廃棄しながら,キャプション記述属性の保存に有効であることを示す。
  論文  参考訳（メタデータ） (2026-06-05T16:54:40Z)
• Rethinking Video-Language Model from the Language Input Perspective [57.766724144002346]
  VLM(Video-Language Models)は、ビデオとテキストのギャップを埋める上で、重要かつ難しい技術となっている。 本稿では,ビデオやテキストを完全にブリッジする様々なVLM方式のプラグイン・アンド・プレイ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-27T03:47:05Z)
• VISTA-Bench: Do Vision-Language Models Really Understand Visualized Text as Well as Pure Text? [51.02924254085878]
  VLM(Vision-Language Models)は、テキスト入力と視覚入力のクロスモーダル理解において、優れたパフォーマンスを実現している。 VISTA-Benchは、マルチモーダル認識、推論、および非モーダル理解領域のベンチマークである。
  論文  参考訳（メタデータ） (2026-02-04T17:48:55Z)
• Read or Ignore? A Unified Benchmark for Typographic-Attack Robustness and Text Recognition in Vision-Language Models [6.1438667397171685]
  大型視覚言語モデル(LVLM)は、タイポグラフィー攻撃に対して脆弱である。 既存の評価プロトコルと防御は、頑健性を達成するためにテキストを無視することを暗黙的に奨励する。 本稿では,視覚的質問応答における選択的テキスト使用を形式化した読み書きVQA(RIO-VQA)を紹介する。
  論文  参考訳（メタデータ） (2025-12-10T08:34:28Z)
• ReadBench: Measuring the Dense Text Visual Reading Ability of Vision-Language Models [0.4453962606945739]
  本稿では,Large Vision-Language Models(VLM)の読解能力を評価するベンチマークであるReadBenchを紹介する。 ReadBenchは、既存のテキストのみのベンチマークからテキストのイメージにコンテキストを変換し、テキストのプロンプトや質問をそのまま保持する。 短いテキストイメージの入力では最小限のパフォーマンス劣化がみられ、長い複数ページのコンテキストでは性能が大幅に低下する。
  論文  参考訳（メタデータ） (2025-05-25T11:02:01Z)
• Visual Lexicon: Rich Image Features in Language Space [99.94214846451347]
  ViLexは、リッチなセマンティックコンテンツと詳細な視覚的詳細を同時にキャプチャする。 ViLexは、凍結されたテキスト・ツー・イメージ(T2I)拡散モデルを用いて入力画像の再構成に最適化されたトークンを生成する。 言語空間に埋め込まれた画像として、ViLexトークンは自然言語の合成性を利用する。
  論文  参考訳（メタデータ） (2024-12-09T18:57:24Z)
• TextDiffuser: Diffusion Models as Text Painters [118.30923824681642]
  我々は、背景に忠実な視覚的に魅力的なテキストで画像を生成することに焦点を当てたTextDiffuserを紹介した。 我々は,OCRアノテーションを用いた最初の大規模テキスト画像データセットであるMARIO-10Mに,1000万の画像テキストペアをコントリビュートする。 テキストプロンプトのみまたはテキストテンプレート画像と併用して高品質なテキスト画像を作成し,テキストによる不完全な画像の再構成を行う,テキストディフューザは柔軟かつ制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-18T10:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。