論文の概要: OmniHandwritingOCR: A Diagnostic Benchmark for Evaluating Multimodal LLMs in Handwritten OCR Scenarios
- arxiv url: http://arxiv.org/abs/2608.18586v1
- Date: Wed, 19 Aug 2026 06:27:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.305945
- Title: OmniHandwritingOCR: A Diagnostic Benchmark for Evaluating Multimodal LLMs in Handwritten OCR Scenarios
- Title（参考訳）: OmniHandwritingOCR:手書きOCRシナリオにおけるマルチモーダルLLMの評価のための診断ベンチマーク
- Abstract要約: OmniHandwriting OCRは手書きOCR上でMLLMとOCRシステムを評価するための診断ベンチマークである。
6つのサブタスクと12のサブセットにまたがる手書きのテキスト認識と手書きの数学的表現認識をカバーし、合計77.57Kのラベル付き画像である。
我々は,統一プロトコルの下で5つの相補的なメトリクスを持つ13のオープンソースおよびクローズドソースシステムを評価する。
- 参考スコア（独自算出の注目度）: 15.793450444852455
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal large language models (MLLMs) are increasingly used as OCR systems in document and knowledge-processing pipelines, but their ability to faithfully read real handwriting remains underexplored. Existing OCR benchmarks focus largely on printed text or clean single-line inputs, leaving limited coverage of realistic handwritten OCR scenarios such as multilingual handwriting, writer errors, and structurally complex mathematical expressions. We introduce OmniHandwritingOCR, a diagnostic benchmark for evaluating MLLMs and OCR systems on handwritten OCR. It covers handwritten text recognition and handwritten mathematical expression recognition across six subtasks and twelve subsets, totaling 77.57K labeled images from public datasets and newly collected student writings. A key component is a difficulty-stratified multi-line formula corpus designed to test robustness under increasing structural complexity. We evaluate thirteen open- and closed-source systems with five complementary metrics under a unified protocol. Results show that current systems remain far from faithful transcription: performance drops sharply on complex multi-line formulas, model rankings vary across language and formula settings, and several generative models hallucinate plausible but visually unsupported corrections. OmniHandwritingOCR provides a challenging testbed for diagnosing language, content, structural, and visual-grounding failure modes of multimodal models in handwritten OCR scenarios.
- Abstract（参考訳）: マルチモーダルな大規模言語モデル(MLLM)は、文書や知識処理パイプラインにおいて、OCRシステムとしてますます使われているが、実際の手書きを忠実に読む能力は、まだ未定である。
既存のOCRベンチマークは、印刷されたテキストやクリーンな単一行入力に重点を置いており、多言語手書き、ライターエラー、構造的に複雑な数学的表現のような現実的な手書きのOCRシナリオを限定的にカバーしている。
OmniHandwriting OCRは手書きOCR上でMLLMとOCRシステムを評価するための診断ベンチマークである。
6つのサブタスクと12のサブセットにまたがって手書きのテキスト認識と手書きの数学的表現をカバーしており、77.57Kのラベル付き画像が公開データセットと新たに収集された学生の文章に記録されている。
鍵となるコンポーネントは、構造的複雑さの増大の下で堅牢性をテストするために設計された、難成層多線式コーパスである。
我々は,統一プロトコルの下で5つの相補的なメトリクスを持つ13のオープンソースおよびクローズドソースシステムを評価する。
結果として、現在のシステムは忠実な転写には程遠いことが示され、複雑な多行式の性能低下、言語や公式設定によってモデルランキングが変化し、いくつかの生成モデルが幻覚的だが視覚的に支持されない修正を行う。
OmniHandwritingOCRは、手書きのOCRシナリオにおけるマルチモーダルモデルの言語、コンテンツ、構造、および視覚的グラウンド障害モードの診断に困難なテストベッドを提供する。
関連論文リスト
- TongGuOCR: A Layout-Aware and Token-Augmented OCR MLLM for Chinese Historical Documents [50.64307290680222]
TongGuOCRは、中国古文書のOCRのためのレイアウト対応およびトークン拡張型マルチモーダル言語モデル(MLLM)である。
TongGuOCRは93.76 ARを達成し、NEDを10.43から6.15に、RO-EDを7.53から3.49に下げる。
論文 参考訳（メタデータ） (2026-08-08T04:50:00Z) - Multilingual OCR-Aware Fine-Tuning and Prompt-Guided Chain-of-Thought Reasoning for Multimodal Large Language Models [7.833222732846266]
光文字認識(OCR)と多言語テキスト理解は、マルチモーダル大言語モデル(MLLM)の主要な障害モードのままである
我々は,大規模合成OCR-to-translationデータ生成,OCR-awareによる教師付き微調整,構造化された視覚連鎖とを組み合わせた,OCR対応多言語多言語学習フレームワークを提案する。
LLaMAベースのマルチモーダルアーキテクチャを用いて、劣化した視覚条件下でのOCR完全性、多言語翻訳精度、ロバスト性を大幅に改善する。
論文 参考訳（メタデータ） (2026-05-13T14:16:39Z) - DocOCR-Eval: A Correction-Based Framework for OCR Tool Selection Without Ground Truth [24.056193540937144]
我々は,多種多様なOCRエンジンと最先端MLLMを用いて,テキスト認識性能の体系的評価を行う。
多くのOCRエンジンのコンテキスト推論機能に制限があり,手動アノテーションのコストが高いことから,DocOCR-Evalを提案する。
論文 参考訳（メタデータ） (2026-05-05T10:59:34Z) - When Text-as-Vision Meets Semantic IDs in Generative Recommendation: An Empirical Study [48.67151986743594]
テキストを視覚信号として扱うことでセマンティックID学習の表現設計を再考する。
項目記述を画像に描画することで得られるOCRに基づくテキスト表現の体系的な実証的研究を行う。
OCR-text は, セマンティックID 学習における標準テキスト埋め込みと一意に一致しているか, 上回っていることがわかった。
論文 参考訳（メタデータ） (2026-01-21T06:18:57Z) - VISTA-OCR: Towards generative and interactive end to end OCR models [3.7548609506798494]
VISTA-OCRは、単一の生成モデル内でテキストの検出と認識を統合する軽量アーキテクチャである。
エンコーダ-デコーダアーキテクチャに基づいて構築されたVISTA-OCRは、視覚的特徴抽出フェーズから始まり、徐々に訓練される。
モデルの性能を高めるために、バウンディングボックスアノテーションと合成サンプルで強化された実世界のサンプルからなる新しいデータセットを構築した。
論文 参考訳（メタデータ） (2025-04-04T17:39:53Z) - CC-OCR: A Comprehensive and Challenging OCR Benchmark for Evaluating Large Multimodal Models in Literacy [50.78228433498211]
CC-OCRは、マルチシーンテキスト読取、多言語テキスト読取、文書解析、キー情報抽出の4つのOCR中心のトラックで構成されている。
39のサブセットと7,058のフルアノテートされたイメージが含まれており、そのうち41%が実際のアプリケーションからソースされ、初めてリリースされた。
我々は9つの顕著なLMMを評価し、これらのモデルの長所と短所、特にテキストの接地、多目的化、繰り返しの幻覚について明らかにした。
論文 参考訳（メタデータ） (2024-12-03T07:03:25Z) - Exploring OCR Capabilities of GPT-4V(ision) : A Quantitative and
In-depth Evaluation [33.66939971907121]
評価の結果,GPT-4Vはラテン内容の認識や理解に優れていたが,多言語シナリオや複雑なタスクに苦慮していることが明らかとなった。
一般に、多様なOCRタスクを扱う汎用性にもかかわらず、GPT-4Vは既存の最先端のOCRモデルより優れているわけではない。
論文 参考訳（メタデータ） (2023-10-25T17:38:55Z) - mPLUG-DocOwl: Modularized Multimodal Large Language Model for Document
Understanding [55.4806974284156]
文書理解とは、ウェブページのようなデジタル文書から自動的に情報を抽出し、分析し、理解することである。
既存のMLLM(Multi-model Large Language Models)は、浅いOCRフリーテキスト認識において、望ましくないゼロショット機能を実証している。
論文 参考訳（メタデータ） (2023-07-04T11:28:07Z) - OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。
OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
論文 参考訳（メタデータ） (2023-05-13T11:28:37Z) - Rethinking Text Line Recognition Models [57.47147190119394]
2つのデコーダファミリー(コネクショニスト時間分類と変換器)と3つのエンコーダモジュール(双方向LSTM、自己認識、GRCL)を考える。
広く使用されているシーンと手書きテキストの公開データセットの精度とパフォーマンスを比較します。
より一般的なTransformerベースのモデルとは異なり、このアーキテクチャは任意の長さの入力を処理できる。
論文 参考訳（メタデータ） (2021-04-15T21:43:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。