論文の概要: Where Vision Becomes Text: Locating the OCR Routing Bottleneck in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2602.22918v1
• Date: Thu, 26 Feb 2026 12:06:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.671406
• Title: Where Vision Becomes Text: Locating the OCR Routing Bottleneck in Vision-Language Models
• Title（参考訳）: 視覚がテキストになる場所:視覚言語モデルにおけるOCRルーティングボットの配置
• Authors: Jonathan Steinberg, Oren Gal,
• Abstract要約: 視覚言語モデル(VLM)は画像からテキストを読み取ることができるが、この光学文字認識(OCR)情報は言語処理ストリームにどこから入ってくるのか? 因果介入を用いた3つのアーキテクチャファミリ間のOCRルーティング機構について検討する。
• 参考スコア（独自算出の注目度）: 2.1942030377331245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) can read text from images, but where does this optical character recognition (OCR) information enter the language processing stream? We investigate the OCR routing mechanism across three architecture families (Qwen3-VL, Phi-4, InternVL3.5) using causal interventions. By computing activation differences between original images and text-inpainted versions, we identify architecture-specific OCR bottlenecks whose dominant location depends on the vision-language integration strategy: DeepStack models (Qwen) show peak sensitivity at mid-depth (about 50%) for scene text, while single-stage projection models (Phi-4, InternVL) peak at early layers (6-25%), though the exact layer of maximum effect varies across datasets. The OCR signal is remarkably low-dimensional: PC1 captures 72.9% of variance. Crucially, principal component analysis (PCA) directions learned on one dataset transfer to others, demonstrating shared text-processing pathways. Surprisingly, in models with modular OCR circuits (notably Qwen3-VL-4B), OCR removal can improve counting performance (up to +6.9 percentage points), suggesting OCR interferes with other visual processing in sufficiently modular architectures.
• Abstract（参考訳）: 視覚言語モデル(VLM)は画像からテキストを読み取ることができるが、この光学文字認識(OCR)情報は言語処理ストリームにどこから入ってくるのか? 因果介入を用いた3つのアーキテクチャファミリ(Qwen3-VL,Phi-4,InternVL3.5)のOCRルーティング機構について検討した。 DeepStackモデル(Qwen)はシーンテキストの深度(約50%)でピーク感度を示す一方、シングルステージプロジェクションモデル(Phi-4, InternVL)は早期層(6-25%)でピーク感度を示すが、最大効果の正確な層はデータセットによって異なる。 OCR信号は極めて低次元であり、PC1は72.9%のばらつきを捉えている。 重要なことに、主成分分析(PCA)の方向は、あるデータセットから他のデータセットへの転送で学習され、共有されたテキスト処理経路を示す。 驚くべきことに、モジュール型OCR回路(特にQwen3-VL-4B)を持つモデルでは、OCR除去はカウント性能(+6.9ポイントまで)を改善し、OCRが十分にモジュール化されたアーキテクチャで他の視覚処理と干渉することを示唆している。

関連論文リスト

• SimpleOCR: Rendering Visualized Questions to Teach MLLMs to Read [43.28273039987167]
  テキストクエリを画像に直接描画するVisualized-Question (VQ) 設定を導入する。 強力なOCR能力を持つにもかかわらず、モデルはVQ設定で最大12.7%の性能低下に悩まされる。 学習プロセスに構造的制約を課すプラグアンドプレイトレーニング戦略であるSimpleOCRを提案する。
  論文  参考訳（メタデータ） (2026-02-25T21:36:30Z)
• PsOCR: Benchmarking Large Multimodal Models for Optical Character Recognition in Low-resource Pashto Language [2.1540520105079697]
  我々はPashto OCRデータセット(PsOCR)を開発し、単語、行、文書レベルで境界ボックスを付加した100万枚の画像からなる。 PsOCRは1000種類のフォントファミリ、色、画像サイズ、レイアウトをカバーしている。 7つのオープンソースモデルを含む複数のLMMの性能を評価するため、10K画像のベンチマークサブセットが選択された。 Geminiはすべてのモデルの中で最高のパフォーマンスを達成しているが、オープンソースモデルではQwen-7Bが際立っている。
  論文  参考訳（メタデータ） (2025-05-15T07:58:38Z)
• VISTA-OCR: Towards generative and interactive end to end OCR models [3.7548609506798494]
  VISTA-OCRは、単一の生成モデル内でテキストの検出と認識を統合する軽量アーキテクチャである。 エンコーダ-デコーダアーキテクチャに基づいて構築されたVISTA-OCRは、視覚的特徴抽出フェーズから始まり、徐々に訓練される。 モデルの性能を高めるために、バウンディングボックスアノテーションと合成サンプルで強化された実世界のサンプルからなる新しいデータセットを構築した。
  論文  参考訳（メタデータ） (2025-04-04T17:39:53Z)
• Benchmarking Vision-Language Models on Optical Character Recognition in Dynamic Video Environments [3.5936169218390703]
  本稿では、動的ビデオ環境における光学的文字認識(OCR)タスクの視覚言語モデル(VLM)を評価するためのオープンソースのベンチマークを提案する。 コードエディタ,ニュースブロードキャスト,YouTubeビデオ,広告など,さまざまな領域にまたがる1,477の注釈付きフレームを含むキュレートデータセットを提案する。
  論文  参考訳（メタデータ） (2025-02-10T13:20:19Z)
• LOCR: Location-Guided Transformer for Optical Character Recognition [55.195165959662795]
  自動回帰中にトランスフォーマーアーキテクチャに位置案内を組み込むモデルであるLOCRを提案する。 125Kの学術文書ページから777万以上のテキスト配置ペアからなるデータセット上でモデルをトレーニングする。 これは、編集距離、BLEU、METEOR、F測定によって測定されたarXivから構築されたテストセットの既存のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-03-04T15:34:12Z)
• Vision-by-Language for Training-Free Compositional Image Retrieval [78.60509831598745]
  合成画像検索(CIR)は、データベース内の関連する対象画像を検索することを目的としている。 大規模視覚言語モデル(VLM)を用いた最近の研究動向 我々は、CIReVL(Vision-by-Language)による学習自由なCIRへの取り組みを提案する。
  論文  参考訳（メタデータ） (2023-10-13T17:59:38Z)
• CoVR-2: Automatic Data Construction for Composed Video Retrieval [59.854331104466254]
  Composed Image Retrieval (CoIR) はテキストと画像のクエリを一緒に考えるタスクとして最近人気を集めている。 本稿では,ビデオキャプションペアのトリプレットを生成する,スケーラブルな自動データセット作成手法を提案する。 また、コンポジションビデオ検索(CoVR)を含むタスクの範囲を広げる。
  論文  参考訳（メタデータ） (2023-08-28T17:55:33Z)
• PP-OCRv3: More Attempts for the Improvement of Ultra Lightweight OCR System [11.622321298214043]
  PP-OCRv3は、PP-OCRv2に基づいてテキスト検出モデルとテキスト認識モデルを9つの側面でアップグレードする。 実データによる実験では、PP-OCRv3のマハンはPP-OCRv2より5%高い。
  論文  参考訳（メタデータ） (2022-06-07T04:33:50Z)
• Structured Multimodal Attentions for TextVQA [57.71060302874151]
  上述の2つの問題を主に解決するために,終端から終端までの構造化マルチモーダルアテンション(SMA)ニューラルネットワークを提案する。 SMAはまず、画像に現れるオブジェクト・オブジェクト・オブジェクト・テキスト・テキストの関係を符号化するために構造グラフ表現を使用し、その後、それを推論するためにマルチモーダルグラフアテンションネットワークを設計する。 提案モデルでは,テキストVQAデータセットとST-VQAデータセットの2つのタスクを事前学習ベースTAP以外のモデルで比較した。
  論文  参考訳（メタデータ） (2020-06-01T07:07:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。