論文の概要: VLMs Read Aloud: The Gap Between Recognizing and Using Visual Text

• arxiv url: http://arxiv.org/abs/2611.01517v2
• Date: Tue, 03 Nov 2026 12:49:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.480698
• Title: VLMs Read Aloud: The Gap Between Recognizing and Using Visual Text
• Title（参考訳）: VLMを読む: 視覚テキストの認識と使用のギャップ
• Abstract要約: 視覚言語モデル(VLM)は、画像語のテキストを単語に書き起こすことができ、それに対してまだ答えられていない。 我々は,証拠や言語トークンの発見と認識に視覚的解決に費やすALOUDを提案する。 Qwen3-VL-8Bの圧縮長は5倍、圧縮長は10倍である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual-text compression renders long contexts as images and is engineered around how much of the text a vision-language model (VLM) can recover. Yet recovered text is not usable text. VLMs can transcribe the text in an image word for word and still fail to answer from it; given back their own transcript, they answer nearly as well as from the original text. We call this difference the read-use gap. Recognizing and using visual text have different resolution requirements: Qwen3-VL-8B's recognition saturates at 15-pixel characters while use catches up only at 24 pixels, and scaling from 2B to 32B raises recognition without narrowing the gap. Putting the evidence into words closes it: thinking VLMs recite the evidence in their thinking, and their own transcript, written without seeing the question, recovers most of what thinking adds. In a preregistered held-out test, the gap ranks how much eight VLMs gain from their own words over pixels (Spearman $ρ$ = 0.86), which recognition rates do not. We propose ALOUD, which spends visual resolution on finding and recognizing evidence and language tokens on using it. Without keeping the source text, it doubles the accuracy of a frozen Qwen3-VL-8B on long documents compressed 5x and 10x: at 5x, from 27.7% to 54.8%, near the original text's 58.5%, with a context smaller than the compressed pages themselves. For less than the cost of reading the original text, it leads at equal budget every method that does without it, at every level, and beats AGAR and VERA, which paste the original text back; at 5x it also beats LensVLM-9B, which is trained and keeps the original text. Visual-text compression is limited not by how much text a model can recover, but by how much it can use.
• Abstract（参考訳）: ビジュアルテキスト圧縮は、長いコンテキストを画像としてレンダリングし、視覚言語モデル(VLM)がどれだけのテキストを回復できるかをエンジニアリングする。 しかし、回復したテキストは使用できない。 VLMはイメージワードでテキストを書き起こすことができ、それで答えることができない。 私たちはこの違いを読み取り/使用ギャップと呼んでいる。 Qwen3-VL-8Bの認識は15ピクセル文字で飽和し、使用は24ピクセルでしかキャッチされず、2Bから32Bへのスケーリングはギャップを狭めることなく認識を高める。 証拠を言葉にまとめると、VLMは自分の思考の証拠を引用し、その疑問を見ずに書かれた自作の写本は、思考が追加するもののほとんどを回復する。 事前登録されたホールドアウトテストでは、このギャップは8つのVLMがピクセル(Spearman $ρ$ = 0.86)よりも自分の単語からどれだけ多く得ているかをランク付けする。 そこで我々は,ALOUDを提案する。ALOUDは,それを用いた証拠や言語トークンの発見と認識に視覚的解決に費やしている。 ソーステキストを保持することなく、圧縮された5xと10xの長いドキュメント上の凍結されたQwen3-VL-8Bの精度を2倍にする: 5x、27.7%から54.8%、元のテキストの58.5%近く、圧縮されたページ自体よりもコンテキストが小さい。 原文を読むコストよりも安いため、すべてのレベルで、それなしで行うすべてのメソッドを同じ予算で処理し、原文をペーストするAGARとVERAを破り、5xでは、原文をトレーニングし保存するLensVLM-9Bを破る。 ビジュアルテキスト圧縮は、モデルがどれだけのテキストを回復できるかではなく、どれだけの量で利用できるかによって制限される。

関連論文リスト

• Benchmarking Vision-Language Models for Urdu Nastaliq Handwriting Recognition [0.0]
  手書きのUrduは、カーシブなNastaliqスクリプトには固定されたベースラインがなく、明確な文字境界がないため、認識が難しい。 我々はUrdu Nastaliqの手書きデータセットで6つのシステムをベンチマークした。 どちらの商用VLMも、印刷されたUrdu認識器やオープンソースのVLMよりもエラーが少ない。
  論文  参考訳（メタデータ） (2026-11-01T06:39:14Z)
• Hawkeye: Reading Illegible Text with Vision Language Models [12.639320095079574]
  textbfBSTRB (Blurry Scene Text Recognition Benchmark) は、実世界の1,699個のビデオシーケンスから派生した高忠実度アノテーションを持つ8,398個のノイズ画像サンプルの新しいベンチマークである。 我々は,BSTRBで微調整されたVLMである textbfHawkeye について,文脈的先行と画素レベルのアライメントを活用して,不可解なテキストの読み書きを行う。
  論文  参考訳（メタデータ） (2026-10-30T04:55:58Z)
• Found but Not Read: When Extracted Text Closes the Retrieval-Reading Gap in Document Vision-Language Models [5.091876481013286]
  文書質問応答は、適切なページが見つかると、視覚言語モデル(VLM)がそれを読み取ることができると仮定する。 ペア化されたプロトコルは、検索したページ画像からの回答と同一画像からの回答と抽出したテキストとを単独で比較することにより、このギャップを分離する。 FoveDoc-Benchのベンチマークでは、ほぼすべてのエビデンスページを検索し、CPU-OCRテキストを追加することで13から16ポイントの精度が向上した。
  論文  参考訳（メタデータ） (2026-10-02T06:16:11Z)
• When VLMs Trust Context: Evaluating Scene Text Recognition under Misleading Context [17.186250064889887]
  視覚言語モデル(VLM)は自然の場面でテキストを読むことができるが、その予測は周囲の文脈に影響される可能性がある。 SceneFaithは、781個のシーン画像のベンチマークで、この振る舞いを研究する。 7つのファミリーの15モデルにまたがって、全てのモデルでは8.45%から58.51%のレートで鮮明な画像の書き直しが行われている。
  論文  参考訳（メタデータ） (2026-09-28T09:55:28Z)
• Rethinking Video-Language Model from the Language Input Perspective [57.766724144002346]
  VLM(Video-Language Models)は、ビデオとテキストのギャップを埋める上で、重要かつ難しい技術となっている。 本稿では,ビデオやテキストを完全にブリッジする様々なVLM方式のプラグイン・アンド・プレイ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-27T03:47:05Z)
• Glyph: Scaling Context Windows via Visual-Text Compression [91.20717058018745]
  Glyphは、長いテキストを画像にレンダリングし、視覚言語モデルで処理するフレームワークである。 提案手法は,従来の長文モデルに匹敵する精度を維持しつつ,3～4倍のトークン圧縮を実現する。 極端な圧縮では、128KテキストのVLMが1Mレベルのテキストタスクにスケールできる。
  論文  参考訳（メタデータ） (2025-10-20T17:58:56Z)
• A Recipe for Scaling up Text-to-Video Generation with Text-free Videos [72.59262815400928]
  拡散ベースのテキスト・ツー・ビデオ世代は、過去1年で目覚ましい進歩をみせたが、それでもテキスト・ツー・画像世代には及ばない。 我々はTF-T2Vと呼ばれる新しいテキスト・ビデオ生成フレームワークを考案した。
  論文  参考訳（メタデータ） (2023-12-25T16:37:39Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• VicTR: Video-conditioned Text Representations for Activity Recognition [73.09929391614266]
  より優れたビデオVLMは、視覚情報よりもテキストの強化に重点を置くことで設計できる、と我々は主張する。 本稿では,ビデオ条件付きテキスト表現(VicTR)を紹介する。 我々のモデルは、視覚的に接地された補助テキストという形で、自由に利用できるセマンティック情報を利用することができる。
  論文  参考訳（メタデータ） (2023-04-05T16:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。