論文の概要: Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2607.21617v1
• Date: Fri, 29 May 2026 20:33:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:38.945804
• Title: Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models
• Title（参考訳）: VLMは読み書き可能か? : 視覚言語モデルにおける転写忠実性について
• Abstract要約: 視覚言語モデル(VLM)は、文書理解のために従来のOCRパイプラインの代わりに使われるようになっている。 テキストが不完全である場合、しばしばそれをより妥当な形式に書き換える。
• 参考スコア（独自算出の注目度）: 10.628090041273929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Language Models (VLMs) are increasingly used in place of traditional OCR pipelines for document understanding. In this paper, we show they do not always act as faithful transcribers: when text is imperfect, they often tend to rewrite it into a more plausible form - a behavior that clean-text OCR benchmarks cannot detect. We introduce FaithC4, a multilingual perturbation benchmark of 1,455 single-page documents (English, Chinese, Korean) with three perturbation families: scramble, random substitution, and visually similar substitution. We use the benchmark to evaluate 15 systems spanning general-purpose VLMs, OCR-specialized VLMs, and traditional OCR pipelines. These three categories differ in WER degradation under perturbation: general-purpose VLMs degrade by up to 4.5 points, OCR-specialized VLMs by 0.2-2 points, and traditional OCR by less than 0.6 points on English. Probing Qwen3-VL-4B layer-by-layer, we identify a consistent pattern: rewriting fires only when a perturbed word's final layer FFN representation stays close to the original encoding; when the representation diverges sufficiently, the model transcribes faithfully. Word length affects rewriting rate: short words (4-6 characters) are rewritten up to 10% of the time, with a sharp cutoff at 8 characters above which rewriting drops to 0%.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、文書理解のために従来のOCRパイプラインの代わりに使われるようになっている。 テキストが不完全である場合、しばしば、より妥当な形式(クリーンテキストのOCRベンチマークでは検出できない振る舞い)に書き換える傾向があります。 本稿では,スクランブル,ランダム置換,視覚的に類似した置換という3つの摂動家族を持つ1,455のシングルページ文書(英語,中国語,韓国語)の多言語摂動ベンチマークであるFaithC4を紹介する。 このベンチマークを用いて、汎用VLM、OCR特化VLM、従来のOCRパイプラインにまたがる15のシステムを評価する。 これら3つのカテゴリは、摂動下でのWER劣化において異なり、汎用VLMは4.5ポイントまで、OCR特化VLMは0.2-2ポイント、従来のOCRは0.6ポイント以下である。 Qwen3-VL-4B 層を層単位で探索することにより,摂動語の最終層 FFN 表現が元の符号化に近づいた場合にのみ,一貫したパターンを識別する。 単語の長さは書き直し率に影響を与え、短い単語(4-6文字)が10%まで書き直され、上述の8文字のシャープカットオフで書き直しが0%まで減少する。

関連論文リスト

• When Do VLMs Help Arabic Manuscript OCR? A Cross-Dataset Study [9.108791469266345]
  従来のOCR, 汎用VLM, アラビア特化VLM, および8つのアラビアテキストデータセット間でのOCR条件付きVLM補正を評価した。 OCR-priorリカバリは、OCR出力が視覚的かつテキスト的にリカバリ可能である場合に有効であり、VLMが画像に対して洗練できるアンカーを提供する。 追加の診断では、アラビアのVLM-OCRデータセットは、ダイアクリティカルス、前処理、生成予算、繰り返しループに敏感であることが示されている。
  論文  参考訳（メタデータ） (2026-08-23T11:12:06Z)
• TongGuOCR: A Layout-Aware and Token-Augmented OCR MLLM for Chinese Historical Documents [50.64307290680222]
  TongGuOCRは、中国古文書のOCRのためのレイアウト対応およびトークン拡張型マルチモーダル言語モデル(MLLM)である。 TongGuOCRは93.76 ARを達成し、NEDを10.43から6.15に、RO-EDを7.53から3.49に下げる。
  論文  参考訳（メタデータ） (2026-08-08T04:50:00Z)
• When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning [73.56343820592399]
  本稿では,視覚的タスクセマンティックス(VTS, Visualized Task Semantics)について紹介する。 6つのMLLMと4つのベンチマークで、24のモデルとタスクのペアの精度は平均17.8ポイント低下した。 本稿では,質問領域を型付きセマンティクスと整合させ,そのクリーンな表現をマスクビューから復元するプロンプト領域グラウンドを提案する。
  論文  参考訳（メタデータ） (2026-08-05T11:46:15Z)
• BanglaWild: An In-the-Wild Bengali Scene Text Recognition Benchmark for OCR and Vision-Language Models [0.0]
  ベンガルの2,535のシーンテキスト画像のベンチマークであるBANGLAWILDを紹介する。 15個のVLMと3つの従来のOCRシステムの評価を行った。 以上の結果から,同族内の大モデルがより小さいモデルよりも優れていないという,永続的なギャップが明らかとなった。
  論文  参考訳（メタデータ） (2026-08-04T16:20:53Z)
• When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts [3.3982074915384874]
  中世ラテン語写本のフルイメージ・トゥ・トランスレーションパイプラインの評価を行った。 ドメイン固有の光学文字認識(OCR)モデルは、汎用VLMと比較して文字誤り率を最大4.3$times$に下げる。 これらの結果は、低リソースの歴史的環境に翻訳システムをデプロイするための新しいベンチマークと実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-07-04T11:58:52Z)
• Can OCR-VLMs Read Devanagari? A Stress-Test Benchmark and Post-Correction Study [0.0]
  OCRシステムは、英語と中国語の文書ベンチマークで強い結果を報告しているが、Indicスクリプトの動作は、ほとんど文字化されていない。 我々は、古典的EasyOCR、オープンVLM(Qwen2.5-VL-3B、Qwen3-VL-8B、olmOCR-7B)、特殊OCR-VLM(DeepSeek-OCR、Unlimited-OCR)、フロンティアクローズドモデル(Gemini 2.5 Flash、Claude Opus 4.7、GPT-5.5、Mistral OCR)の10のシステムをベンチマークする。 ベンチマーク、コード、モデルをリリースします。
  論文  参考訳（メタデータ） (2026-06-28T05:46:05Z)
• Reading or Guessing? Visual Grounding Failures of Vision-Language Models for OCR in Ancient Greek Editions [16.43811675687955]
  光文字認識のための視覚言語モデル(VLM)は、可視だが視覚的にサポートされていないテキストを生成することができる。 我々は、VLMエラーが間違った場合でも流用し続け、もっともらしいギリシャの代替品を産出することを示す。 この結果は,OCR言語が低リソースの史料に依存しているという以前の証拠を延長するものである。
  論文  参考訳（メタデータ） (2026-05-26T22:57:01Z)
• FastOCR: Dynamic Visual Fixation via KV Cache Pruning for Efficient Document Parsing [51.905216364362325]
  我々は2つの相補的なモジュールを持つトレーニングフリーフレームワークであるFastOCRを提案する。 FastOCRは未実行モデルの精度の98%を保持し、デコードステップあたりの視覚トークンの5%にしか到達しない。
  論文  参考訳（メタデータ） (2026-05-17T13:39:47Z)
• GlotOCR Bench: OCR Models Still Struggle Beyond a Handful of Unicode Scripts [58.92151016423978]
  我々は100以上のUnicodeスクリプトでOCRを評価する総合ベンチマークであるGlotOCR Benchを紹介する。 我々のベンチマークは、実際の多言語テキストからレンダリングされたクリーンで劣化した画像の変種で構成されている。 オープンウェイトでプロプライエタリなビジョン言語モデルを幅広く評価した結果,ほとんどの場合,10文字未満でうまく動作することがわかった。
  論文  参考訳（メタデータ） (2026-04-14T17:12:41Z)
• Where Vision Becomes Text: Locating the OCR Routing Bottleneck in Vision-Language Models [2.1942030377331245]
  視覚言語モデル(VLM)は画像からテキストを読み取ることができるが、この光学文字認識(OCR)情報は言語処理ストリームにどこから入ってくるのか? 因果介入を用いた3つのアーキテクチャファミリ間のOCRルーティング機構について検討する。
  論文  参考訳（メタデータ） (2026-02-26T12:06:02Z)
• Unblocking Fine-Grained Evaluation of Detailed Captions: An Explaining AutoRater and Critic-and-Revise Pipeline [58.832237984587664]
  VNLI-Critiqueは,自動文レベルの事実性分類と批判生成のためのモデルである。 1) VNLI-CritiqueはM-HalDetectベンチマークの最先端性能によって検証された堅牢な一般化を実証し、(2) VNLI-CritiqueによるDOCCI-Critique向けAutoRaterは信頼性の高いVLMランキングを提供し、人間の事実性判断と優れた整合性を示す。
  論文  参考訳（メタデータ） (2025-06-09T10:57:26Z)
• Vision-centric Token Compression in Large Language Model [51.92055188780033]
  Vision Centric Token Compression (Vist)は、人間の読書を反映した高速圧縮フレームワークである。 11のコンテキスト内学習ベンチマークでは、Vistは同じ精度を2.3倍のトークンで達成し、FLOPを16%削減し、メモリを50%削減した。
  論文  参考訳（メタデータ） (2025-02-02T13:10:06Z)
• CC-OCR: A Comprehensive and Challenging OCR Benchmark for Evaluating Large Multimodal Models in Literacy [50.78228433498211]
  CC-OCRは、マルチシーンテキスト読取、多言語テキスト読取、文書解析、キー情報抽出の4つのOCR中心のトラックで構成されている。 39のサブセットと7,058のフルアノテートされたイメージが含まれており、そのうち41%が実際のアプリケーションからソースされ、初めてリリースされた。 我々は9つの顕著なLMMを評価し、これらのモデルの長所と短所、特にテキストの接地、多目的化、繰り返しの幻覚について明らかにした。
  論文  参考訳（メタデータ） (2024-12-03T07:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。