論文の概要: METATR: A Multilingual, Evolving Benchmark for Automatic Text Recognition

• arxiv url: http://arxiv.org/abs/2605.26712v1
• Date: Tue, 26 May 2026 08:53:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.767611
• Title: METATR: A Multilingual, Evolving Benchmark for Automatic Text Recognition
• Title（参考訳）: METATR: 自動テキスト認識のための多言語進化ベンチマーク
• Authors: Mélodie Boillet, Solène Tarride, Christopher Kermorvant,
• Abstract要約: 本稿では,様々な文書を対象とした自動テキスト認識 (ATR) モデルの評価を行うベンチマークMETATR (v1.0) を紹介する。 結果は、データセットのパフォーマンスや言語レベルなど、さまざまな次元にわたって報告される。 METATRは,多言語ATRを実環境下で評価するための多次元的,実践的指向のフレームワークを提供する。
• 参考スコア（独自算出の注目度）: 1.5803208833562958
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmarks that reflect the diversity and complexity of real-world documents are essential for accurately evaluating Automatic Text Recognition (ATR) systems, especially Vision-Large Language Models (vLLMs). Although recent models demonstrate impressive performance, they are often evaluated on datasets containing modern, printed texts mostly written in English, which limits their relevance to many practical applications. Therefore, selecting a model for a specific use case requires evaluating it on data that matches the target documents. This highlights the importance of representative benchmarks for real-world applications. In this paper, we introduce METATR (v1.0), a multilingual, evolving benchmark designed to evaluate ATR models across a wide range of documents, facilitating meaningful model comparison and selection. The benchmark was designed to maximize diversity by including documents from various public collections. These documents cover 29 languages and include texts with multiple scripts and layouts. Beyond the dataset itself, METATR defines a standardized prompting and normalization methodology and establishes a dynamic evaluation framework. This approach is intended to produce reproducible results while remaining extensible over time. We evaluated a wide range of state-of-the-art systems, including open-source models and closed-source models. Results are reported across various dimensions, including performance at the dataset and language levels, robustness to handwritten documents, and computational efficiency. Our findings show that, although proprietary models achieve the most consistent performance, substantial variability persists across scripts and layouts. Overall, METATR provides a multidimensional, practitioner-oriented framework for assessing multilingual ATR in real-world conditions and tracking progress as the field evolves.
• Abstract（参考訳）: 実世界の文書の多様性と複雑さを反映したベンチマークは、自動テキスト認識(ATR)システム、特にビジョンラージ言語モデル(vLLM)を正確に評価するために不可欠である。 最近のモデルは印象的な性能を示しているが、現代の印刷されたテキストを主に英語で書かれたデータセットで評価されることも多い。 そのため、特定のユースケースのモデルを選択するには、ターゲット文書と一致するデータに基づいて評価する必要がある。 これは、現実世界のアプリケーションにおける代表的ベンチマークの重要性を強調している。 本稿では,多言語・進化型ベンチマークであるMETATR (v1.0) を紹介する。 このベンチマークは、様々な公開コレクションの文書を含めることで、多様性を最大化するように設計された。 これらの文書は29の言語をカバーし、複数のスクリプトとレイアウトを持つテキストを含んでいる。 データセット自体の他に、METATRは標準化されたプロンプトと正規化の方法論を定義し、動的評価フレームワークを確立する。 このアプローチは、時間の経過とともに拡張性を維持しながら再現可能な結果を生み出すことを意図している。 我々は,オープンソースモデルやクローズドソースモデルなど,幅広い最先端システムを評価した。 結果は、データセットと言語レベルのパフォーマンス、手書き文書への堅牢性、計算効率など、さまざまな次元にわたって報告される。 この結果から,プロプライエタリなモデルが最も一貫したパフォーマンスを実現する一方で,スクリプトやレイアウト間で大きな変動が持続していることが判明した。 全体として、METATRは実世界の状況下で多言語ATRを評価し、フィールドが進化するにつれて進行を追跡するための多次元の実践的フレームワークを提供する。

関連論文リスト

• VisR-Bench: An Empirical Study on Visual Retrieval-Augmented Generation for Multilingual Long Document Understanding [49.07705729597171]
  VisR-Benchは、長い文書における質問駆動型マルチモーダル検索のベンチマークである。 ベンチマークは、1.2Kドキュメントで35K以上の高品質なQAペアで構成されています。 テキストベースの手法,マルチモーダルエンコーダ,MLLMなど,さまざまな検索モデルを評価する。
  論文  参考訳（メタデータ） (2025-08-10T21:44:43Z)
• Movie2Story: A framework for understanding videos and telling stories in the form of novel text [0.0]
  補助情報に富んだシナリオにおけるテキスト生成能力を評価するための新しいベンチマークを提案する。 本研究は,高精度な補助情報の提供を確実にするための,革新的な自動データセット生成手法を提案する。 本実験により, 提案した評価指標に基づいて, 現在のMLLM(Multi-modal Large Language Models)が準最適に動作していることが判明した。
  論文  参考訳（メタデータ） (2024-12-19T15:44:04Z)
• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P -M P-MMEvalは、さまざまなデータセットにわたって一貫した言語カバレッジを提供し、並列サンプルを提供する。 我々は、モデルとタスク間の性能を比較するために、代表的多言語モデル系列に関する広範な実験を行う。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented Languages [105.54207724678767]
  データ不足は、多言語NLPシステムの開発において重要な問題である。 我々はXTREME-UPを提案する。XTREME-UPはゼロショットではなく、希少なデータシナリオに焦点を当てたベンチマークである。 XTREME-UPは、88言語にまたがる言語モデルが、9つのキーとなるユーザー中心技術上で機能する能力を評価する。
  論文  参考訳（メタデータ） (2023-05-19T18:00:03Z)
• OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
  テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。 OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
  論文  参考訳（メタデータ） (2023-05-13T11:28:37Z)
• Leveraging Advantages of Interactive and Non-Interactive Models for Vector-Based Cross-Lingual Information Retrieval [12.514666775853598]
  対話型モデルと非対話型モデルの利点を活用する新しいフレームワークを提案する。 非対話型アーキテクチャ上でモデルを構築できる半対話型機構を導入するが、各文書を関連付けられた多言語クエリと共にエンコードする。 本手法は,計算効率を維持しながら検索精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-11-03T03:03:19Z)
• X-FACT: A New Benchmark Dataset for Multilingual Fact Checking [21.2633064526968]
  本稿では,X-FACTについて紹介する。X-FACTは,自然に存在する実世界のクレームの事実検証のための,多言語データセットとして最大である。 データセットには25の言語で短いステートメントが含まれており、専門家のファクトチェッカーによって正確性を示すラベルが付けられている。
  論文  参考訳（メタデータ） (2021-06-17T05:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。