論文の概要: From Retrieval to Recognition:How Vision--Language Models Become OCR Specialists

• arxiv url: http://arxiv.org/abs/2609.21543v1
• Date: Fri, 18 Sep 2026 09:32:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.956869
• Title: From Retrieval to Recognition:How Vision--Language Models Become OCR Specialists
• Title（参考訳）: 検索から認識へ:視力-言語モデルがOCRスペシャリストになる方法
• Abstract要約: 我々は, GLM-OCR, MinerU2.5, PaddleOCR-VL-1.6のスパースおよび安定なOCRヘッドセットを同定した。 我々はこれらのOCRヘッドを、一般的なVLMにおいて独立に識別されたテキスト検索/コピーヘッドと比較する。 重なり合いと因果的介入は、フルシーケンスのOCRが密度の高い多重モーダルコピー・アンド・ペーストとして動作することを示唆している。
• 参考スコア（独自算出の注目度）: 1.2524536193679123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Does a general vision--language model acquire specialized OCR ability by developing a new reading circuit or by reusing an existing mechanism? We address this question in the setting of full-sequence OCR, rather than local-answer retrieval. Using an evidence-grounded protocol with held-out causal interventions, we identify sparse and stable OCR-head sets in GLM-OCR, MinerU2.5, and PaddleOCR-VL-1.6. We then investigate the mechanistic origin of these OCR heads by comparing them with independently identified textual retrieval/copy heads in general VLMs. Across two general VLMs, visual OCR heads strongly overlap independently identified textual retrieval/copy heads, yielding untuned top-20 intersections of 73.3% and all-head Spearman correlations of 0.677-0.886. The overlap and causal interventions suggest that full-sequence OCR operates as dense sequential multimodal copy-and-paste, repeatedly retrieving visual evidence and routing it to the current output position. Finally, we examine how this shared circuit changes as a general VLM becomes an OCR specialist. Matched base-to-specialized comparisons show that OCR specialization largely preserves head identity, retaining 17-20 of the top 20 heads per task with all-head rank correlations of 0.874-0.942, while redistributing their functional and causal strengths.
• Abstract（参考訳）: 汎用視覚言語モデルは、新しい読み出し回路を開発するか、または既存のメカニズムを再利用することによって、特殊なOCR能力を取得するか? 本稿では,局所回答検索ではなく,全系列OCRの設定でこの問題に対処する。 GLM-OCR, MinerU2.5, PaddleOCR-VL-1.6 のスパースかつ安定な OCR ヘッドセットを, ホールドアウト因果介入を用いたエビデンス基底プロトコルを用いて同定した。 次に、これらのOCRヘッドの機械的起源を、一般的なVLMにおいて独立に識別されたテキスト検索/コピーヘッドと比較することによって検討する。 2つの一般的なVLMにおいて、視覚的OCRヘッドは独立してテキスト検索/コピーヘッドを識別し、73.3%の未修正のトップ20交差点と0.677-0.886のオールヘッドスピアマン相関を得る。 重なり合いと因果的介入は、フルシーケンスのOCRが、連続した連続した多重モーダルコピー・アンド・ペーストとして動作し、視覚的証拠を繰り返し取得し、それを現在の出力位置にルーティングすることを示唆している。 最後に、一般的なVLMがOCRスペシャリストとなるにつれて、この共有回路がどのように変化するかを検討する。 比較の結果,OCRの特殊化は頭部のアイデンティティを保ち,全頭位相関は0.874-0.942であり,機能的および因果的強度は再分配された。

関連論文リスト

• ArmorOCR: Grounded Adversarial Visual Perception via Observation-Transferred Self-Distillation [29.744176697656147]
  我々は,テキストbfgrounded OCR知覚タスクとして対向性OCRを定式化し,対向性OCR評価のための最初のベンチマークである textbfAdvSpot を導入する。 ArmorOCRは、強力な敵OCR知覚のための2段階のトレーニングフレームワークである。 我々のAdvSpot、その他の逆OCRベンチマーク、および一般的なOCRベンチマークの実験は、ArmorOCRが常に逆OCR知覚を改善することを示した。
  論文  参考訳（メタデータ） (2026-08-20T14:52:06Z)
• TongGuOCR: A Layout-Aware and Token-Augmented OCR MLLM for Chinese Historical Documents [50.64307290680222]
  TongGuOCRは、中国古文書のOCRのためのレイアウト対応およびトークン拡張型マルチモーダル言語モデル(MLLM)である。 TongGuOCRは93.76 ARを達成し、NEDを10.43から6.15に、RO-EDを7.53から3.49に下げる。
  論文  参考訳（メタデータ） (2026-08-08T04:50:00Z)
• Reasoning-OCR: Can Large Multimodal Models Solve Complex Logical Reasoning Problems from OCR Cues? [73.35232225256968]
  Reasoning-OCRは、リッチビジュアルテキストから抽出できるキューに基づいて複雑な推論問題を解決するためにLMMに挑戦する。 我々の評価は、異なる理由付けの課題において、プロプライエタリでオープンソースのLMMにいくつかの洞察を与えます。
  論文  参考訳（メタデータ） (2025-05-19T06:45:18Z)
• Lost in OCR Translation? Vision-Based Approaches to Robust Document Retrieval [38.569818461453394]
  Retrieval-Augmented Generation (RAG)は、外部文書の応答をグラウンド化するための技術である。 従来のRAGシステムは、スキャンされた文書をテキストに最初に処理するために光学文字認識(OCR)に依存していた。 ColPaliのような近年の視覚言語アプローチでは、ドキュメントの直接的な視覚的埋め込みを提案しており、OCRの必要性を排除している。
  論文  参考訳（メタデータ） (2025-05-08T21:54:02Z)
• OCR Hinders RAG: Evaluating the Cascading Impact of OCR on Retrieval-Augmented Generation [39.83221375597683]
  Retrieval-augmented Generation (RAG)は、幻覚を抑えるために外部知識を統合することで、言語モデル(LLM)を強化する。 RAGの本質的な部分として、光学文字認識(OCR)を用いて構造化されていないPDF文書から構造化されたデータを抽出して外部知識ベースを構築することが一般的である。 本稿では,RAGシステムにおけるOCRのカスケード効果を理解するための最初のベンチマークであるOHRBenchを紹介する。
  論文  参考訳（メタデータ） (2024-12-03T17:23:47Z)
• CC-OCR: A Comprehensive and Challenging OCR Benchmark for Evaluating Large Multimodal Models in Literacy [50.78228433498211]
  CC-OCRは、マルチシーンテキスト読取、多言語テキスト読取、文書解析、キー情報抽出の4つのOCR中心のトラックで構成されている。 39のサブセットと7,058のフルアノテートされたイメージが含まれており、そのうち41%が実際のアプリケーションからソースされ、初めてリリースされた。 我々は9つの顕著なLMMを評価し、これらのモデルの長所と短所、特にテキストの接地、多目的化、繰り返しの幻覚について明らかにした。
  論文  参考訳（メタデータ） (2024-12-03T07:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。