論文の概要: Can OCR-VLMs Read Devanagari? A Stress-Test Benchmark and Post-Correction Study
- arxiv url: http://arxiv.org/abs/2606.29213v1
- Date: Sun, 28 Jun 2026 05:46:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.83471
- Title: Can OCR-VLMs Read Devanagari? A Stress-Test Benchmark and Post-Correction Study
- Title（参考訳）: OCR-VLMsはDeadanagariを読むことができるか? ストレステストベンチマークとポストコレクションスタディ
- Abstract要約: OCRシステムは、英語と中国語の文書ベンチマークで強い結果を報告しているが、Indicスクリプトの動作は、ほとんど文字化されていない。
我々は、古典的EasyOCR、オープンVLM(Qwen2.5-VL-3B、Qwen3-VL-8B、olmOCR-7B)、特殊OCR-VLM(DeepSeek-OCR、Unlimited-OCR)、フロンティアクローズドモデル(Gemini 2.5 Flash、Claude Opus 4.7、GPT-5.5、Mistral OCR)の10のシステムをベンチマークする。
ベンチマーク、コード、モデルをリリースします。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: OCR systems, ranging from classical engines to specialised OCR vision-language models (OCR-VLMs) and frontier multimodal LLMs, report strong results on English and Chinese document benchmarks, yet their behaviour on Indic scripts is largely uncharacterised. We benchmark ten systems on Devanagari (Hindi): classical EasyOCR; open VLMs (Qwen2.5-VL-3B, Qwen3-VL-8B, olmOCR-7B); specialised OCR-VLMs (DeepSeek-OCR, Unlimited-OCR); and frontier closed models (Gemini 2.5 Flash, Claude Opus 4.7, GPT-5.5, Mistral OCR), across four synthetic degradation conditions and 300 real printed scans. We report four findings. First, on clean rendered text all ten cluster within chrF++ 91 to 98, so synthetic text does not separate them. Second, under degradation the specialised OCR-VLMs are the most fragile: DeepSeek-OCR suffers rare but catastrophic repetition failures (outputs up to 71 the reference length) that wreck its corpus mean even though its median is the best of any system, which is why we report median and catastrophic-rate instead of the mean. Third, on real scans nine of the ten systems collapse (EasyOCR falls from chrF++ 93.6 to 58.3) and the field spreads across a 76-point range, so synthetic renders badly overstate Devanagari quality. Fourth, strong English OCR does not predict Indic OCR: GPT-5.5 drops to chrF++ 58.5 (tying classical EasyOCR) and olmOCR-7B, the model behind olmOCR-Bench, falls to 40.5, while the open Qwen3-VL-8B (75.2, runnable on a single 24 GB GPU) beats GPT-5.5 and approaches Mistral; Gemini and Claude lead at 86.3 and 82.2. An error taxonomy separates surface errors (numerals, punctuation) from structural ones (conjuncts, matras, nukta), and a byte-level (ByT5) post-corrector improves a cheap engine on its own error distribution (chrF++ +1.2 to +1.5) but does not transfer across engines. We release the benchmark, code, and models.
- Abstract（参考訳）: OCRシステムは、古典的なエンジンから特殊化されたOCRビジョン言語モデル(OCR-VLM)やフロンティアのマルチモーダルLLMまで、英語と中国語の文書ベンチマークで強い結果を報告しているが、Indicスクリプトでの動作は、ほとんど文字化されていない。
我々は、古典的なEasyOCR、オープンVLM(Qwen2.5-VL-3B、Qwen3-VL-8B、olmOCR-7B)、特殊化されたOCR-VLM(DeepSeek-OCR、Unlimited-OCR)、フロンティアクローズドモデル(Gemini 2.5 Flash、Claude Opus 4.7、GPT-5.5、Mistral OCR)の10のシステムをベンチマークする。
我々は4つの発見を報告した。
第一に、クリーンな描画テキストでは、chrF++ 91から98の10のクラスタすべてで、合成テキストはそれらを分離しない。
第二に、特殊化されたOCR-VLMは、最も脆弱である:DeepSeek-OCRは、そのコーパスの中央値がどのシステムでも最良であるにもかかわらず、そのコーパスを破滅させる稀だが破滅的な繰り返し(基準長の71まで)を経験する。
第3に、実際のスキャンでは10のシステムのうち9つが崩壊する(EasyOCRはchrF++ 93.6から58.3)。
GPT-5.5はchrF++ 58.5(古典的なEasyOCR)、olmOCR-BenchのモデルであるolmOCR-7Bは40.5に、オープンなQwen3-VL-8B (75.2, runnable on a single 24 GB GPU)はGPT-5.5を上回り、Mistralに近づき、GeminiとClaudeは86.3と822でリードする。
エラー分類法は、表面エラー(数値、句読点)と構造エラー(接続、行列、ヌクタ)を分離し、バイトレベルのポストコレクター(ByT5)は、独自のエラー分布(chrF++ +1.2から+1.5)で安価なエンジンを改善するが、エンジン間での転送は行わない。
ベンチマーク、コード、モデルをリリースします。
関連論文リスト
- Jina-OCR-v1: Efficient Document Parsing with Speculative Decoding and Dense Verifiable Rewards [44.67582833168009]
Jina-OCR-v1は低予算のGPU上で動作するために開発されたエンドツーエンドのドキュメント解析モデルである。
圧縮されたビジョンエンコーダとDeepSeek-OCRの3Bミックス・オブ・エキスパート・デコーダを組み合わせる。
OmniDocBench v1.6で91.14、olmOCR-Benchで83.4、我々の比較では2.57ページ/秒で最高スループットに達した。
論文 参考訳（メタデータ） (2026-09-02T21:49:21Z) - TongGuOCR: A Layout-Aware and Token-Augmented OCR MLLM for Chinese Historical Documents [50.64307290680222]
TongGuOCRは、中国古文書のOCRのためのレイアウト対応およびトークン拡張型マルチモーダル言語モデル(MLLM)である。
TongGuOCRは93.76 ARを達成し、NEDを10.43から6.15に、RO-EDを7.53から3.49に下げる。
論文 参考訳（メタデータ） (2026-08-08T04:50:00Z) - Cross-Temporal Sinhala OCR: Page-Level Adaptation and Diachronic Analysis [0.0]
ページレベルのSinhala OCR用の実世界のデータセットは公開されていない。
我々は1010ページレベルの画像とその転写の注釈付きデータセットである sinhala-ocr-lk-acts-1010 を導入した。
深層学習に基づく視覚言語処理に基づく3つのモデルをQLoRAを用いて微調整する。
論文 参考訳（メタデータ） (2026-06-28T13:01:54Z) - How Robust is OCR-Reasoning? Evaluating OCR-Reasoning Robustness of Vision-Language Models under Visual Perturbations [17.186250064889887]
視覚言語モデル(VLM)はOCRベースのベンチマークでは高い性能を達成しているが、制御された視覚劣化下での頑健さは十分に理解されていない。
視覚的摂動下でのOCR推論の堅牢性を評価するためのベンチマークであるOCR-Robustを紹介する。
我々は18以上の候補摂動のパイロットスタディを行い、その影響とモデル間識別性に基づいて、それぞれ3つの重度レベルに5つの代表型を選択した。
論文 参考訳（メタデータ） (2026-06-24T17:15:42Z) - Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models [10.628090041273929]
視覚言語モデル(VLM)は、文書理解のために従来のOCRパイプラインの代わりに使われるようになっている。
テキストが不完全である場合、しばしばそれをより妥当な形式に書き換える。
論文 参考訳（メタデータ） (2026-05-29T20:33:35Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - GlotOCR Bench: OCR Models Still Struggle Beyond a Handful of Unicode Scripts [58.92151016423978]
我々は100以上のUnicodeスクリプトでOCRを評価する総合ベンチマークであるGlotOCR Benchを紹介する。
我々のベンチマークは、実際の多言語テキストからレンダリングされたクリーンで劣化した画像の変種で構成されている。
オープンウェイトでプロプライエタリなビジョン言語モデルを幅広く評価した結果,ほとんどの場合,10文字未満でうまく動作することがわかった。
論文 参考訳（メタデータ） (2026-04-14T17:12:41Z) - Where Vision Becomes Text: Locating the OCR Routing Bottleneck in Vision-Language Models [2.1942030377331245]
視覚言語モデル(VLM)は画像からテキストを読み取ることができるが、この光学文字認識(OCR)情報は言語処理ストリームにどこから入ってくるのか?
因果介入を用いた3つのアーキテクチャファミリ間のOCRルーティング機構について検討する。
論文 参考訳（メタデータ） (2026-02-26T12:06:02Z) - GutenOCR: A Grounded Vision-Language Front-End for Documents [0.42776193697639947]
我々はQwen2.5-VL-3BとQwen2.5-VL-7Bを微調整して得られた接地型OCRフロントエンド群を紹介する。
結果として得られる単一チェックポイントビジョン言語モデルは、読み出し、検出、グラウンド化を、統一されたプロンプトベースのインターフェースを通じて公開する。
グッテンOCR-7Bは,Qwen2.5-VL-7Bバックボーンの複合接地OCRスコアを10.5Kの保留ビジネスページと科学ページの2倍以上に向上させることを示した。
論文 参考訳（メタデータ） (2026-01-20T21:26:15Z) - Finetuning Vision-Language Models as OCR Systems for Low-Resource Languages: A Case Study of Manchu [0.0]
危険に晒された言語である満州には、現実世界の歴史的文書を扱うことができる効果的なOCRシステムがない。
本研究では,3つのオープンソースビジョン言語モデルを微調整し,高性能なOCRシステムを構築する。
LLaMA-3.2-11Bは98.3%の単語精度と0.0024文字誤り率で優れた性能を達成した。
論文 参考訳（メタデータ） (2025-07-09T11:38:20Z) - MonkeyOCR: Document Parsing with a Structure-Recognition-Relation Triplet Paradigm [60.14048367611333]
MonkeyOCRはドキュメント解析のためのビジョン言語モデルである。
SRR(Structure-Recognition-Relation)三重項パラダイムを活用することで、最先端の技術の進歩を図っている。
論文 参考訳（メタデータ） (2025-06-05T16:34:57Z) - CC-OCR: A Comprehensive and Challenging OCR Benchmark for Evaluating Large Multimodal Models in Literacy [50.78228433498211]
CC-OCRは、マルチシーンテキスト読取、多言語テキスト読取、文書解析、キー情報抽出の4つのOCR中心のトラックで構成されている。
39のサブセットと7,058のフルアノテートされたイメージが含まれており、そのうち41%が実際のアプリケーションからソースされ、初めてリリースされた。
我々は9つの顕著なLMMを評価し、これらのモデルの長所と短所、特にテキストの接地、多目的化、繰り返しの幻覚について明らかにした。
論文 参考訳（メタデータ） (2024-12-03T07:03:25Z) - LOCR: Location-Guided Transformer for Optical Character Recognition [55.195165959662795]
自動回帰中にトランスフォーマーアーキテクチャに位置案内を組み込むモデルであるLOCRを提案する。
125Kの学術文書ページから777万以上のテキスト配置ペアからなるデータセット上でモデルをトレーニングする。
これは、編集距離、BLEU、METEOR、F測定によって測定されたarXivから構築されたテストセットの既存のメソッドよりも優れています。
論文 参考訳（メタデータ） (2024-03-04T15:34:12Z) - User-Centric Evaluation of OCR Systems for Kwak'wala [92.73847703011353]
OCRを利用すると、文化的に価値ある文書の書き起こしに費やした時間を50%以上削減できることを示す。
この結果から,OCRツールが下流言語ドキュメントや再生作業において持つ潜在的なメリットが示された。
論文 参考訳（メタデータ） (2023-02-26T21:41:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。