Fugu-MT 論文翻訳(概要): MORE: A Multilingual Document Parsing Benchmark and Evaluation

論文の概要: MORE: A Multilingual Document Parsing Benchmark and Evaluation

arxiv url: http://arxiv.org/abs/2607.02956v1
Date: Fri, 03 Jul 2026 04:59:12 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-07 22:26:29.471717
Title: MORE: A Multilingual Document Parsing Benchmark and Evaluation
Title（参考訳）: MORE: ベンチマークと評価を解析する多言語文書
Abstract要約: MOREは多言語文書解析評価のために設計された大規模ベンチマークである。これは149の言語をカバーしており、これまでで最も言語的に多様なベンチマークとなっている。すべてのサンプルは、モデル支援の人手によるアノテーションパイプラインを通じて、現実世界のドキュメントからキュレーションされる。
参考スコア（独自算出の注目度）: 13.789730225958877
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multilingual documents encapsulate rich regional cultures, scientific discoveries, and historical records. Parsing this content into structured, machine-readable formats is critical for unlocking global knowledge. However, existing benchmarks predominantly focus on high-resource languages like English and Chinese, creating an evaluation blind spot concerning model performance on other languages. While recent Vision-Language Models (VLMs) claim support for hundreds of languages, the lack of ground truth makes it impossible to empirically verify these capabilities. To bridge this gap, we introduce MORE, a large-scale benchmark designed for multilingual document parsing evaluation. MORE distinguishes itself through three key dimensions: (1) Unprecedented Scale: It covers 149 languages, making it the most linguistically diverse benchmark to date; (2) Structural Complexity: Unlike previous works, it extends evaluation beyond plain text to include structural elements such as code blocks, tables, and catalogs; and (3) Data Authenticity: All samples are curated from real-world documents via a model-assisted, human-refined annotation pipeline. We evaluate state-of-the-art models using MORE, establishing new performance baselines for long-tail languages and validating the benchmark's effectiveness in diagnosing model capabilities in realistic, diverse scenarios. The MORE dataset will be available at https://github.com/zimoqingfeng/MORE.
Abstract（参考訳）: 多言語文書は豊かな地域文化、科学的発見、歴史記録をカプセル化している。このコンテンツを構造化された機械可読形式に解析することは、グローバルな知識の解放に不可欠である。しかし、既存のベンチマークは主に英語や中国語のような高リソース言語に焦点を当てており、他の言語でのモデルパフォーマンスに関する評価の盲点を生み出している。近年のVision-Language Models (VLM) は、数百の言語のサポートを主張しているが、基礎的な真実の欠如により、これらの能力を実証的に検証することは不可能である。このギャップを埋めるために,多言語文書解析評価のための大規模ベンチマークMOREを導入する。 MOREは、(1)非先行スケール:149の言語をカバーし、現在まで最も言語的に多様なベンチマークとなっている。(2)構造的複雑さ:以前の作品とは異なり、コードブロック、テーブル、カタログなどの構造的要素を含むプレーンテキストを超えて評価を拡張している。我々はMOREを用いて最先端のモデルを評価し、ロングテール言語のための新しいパフォーマンスベースラインを確立し、現実的で多様なシナリオにおけるモデル能力の診断におけるベンチマークの有効性を検証する。 MOREデータセットはhttps://github.com/zimoqingfeng/MOREで提供される。

関連論文リスト

Towards Reliable Multilingual LLMs-as-a-Judge: An Empirical Study [15.5103844307963]
大規模言語モデル(LLM)は、生成したテキストの自動評価にますます利用されている。本研究は多言語LLMs-as-a-judgeを開発するためのいくつかの戦略を探求する。
論文参考訳（メタデータ） (2026-05-27T16:33:58Z)
METATR: A Multilingual, Evolving Benchmark for Automatic Text Recognition [1.5803208833562958]
本稿では,様々な文書を対象とした自動テキスト認識 (ATR) モデルの評価を行うベンチマークMETATR (v1.0) を紹介する。結果は、データセットのパフォーマンスや言語レベルなど、さまざまな次元にわたって報告される。 METATRは,多言語ATRを実環境下で評価するための多次元的,実践的指向のフレームワークを提供する。
論文参考訳（メタデータ） (2026-05-26T08:53:34Z)
VisR-Bench: An Empirical Study on Visual Retrieval-Augmented Generation for Multilingual Long Document Understanding [49.07705729597171]
VisR-Benchは、長い文書における質問駆動型マルチモーダル検索のベンチマークである。ベンチマークは、1.2Kドキュメントで35K以上の高品質なQAペアで構成されています。テキストベースの手法,マルチモーダルエンコーダ,MLLMなど,さまざまな検索モデルを評価する。
論文参考訳（メタデータ） (2025-08-10T21:44:43Z)
BenchMAX: A Comprehensive Multilingual Evaluation Suite for Large Language Models [44.759766566414626]
マルチウェイ多言語評価ベンチマークであるBenchMAXを紹介する。高品質を維持するために、3つの異なるネイティブなアノテータがそれぞれのサンプルに独立してアノテートする。 BenchMAXの大規模な実験は、言語間のコア機能のさまざまな効果を明らかにしている。
論文参考訳（メタデータ） (2025-02-11T08:17:19Z)
Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文参考訳（メタデータ） (2023-07-16T15:18:25Z)
XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented Languages [105.54207724678767]
データ不足は、多言語NLPシステムの開発において重要な問題である。我々はXTREME-UPを提案する。XTREME-UPはゼロショットではなく、希少なデータシナリオに焦点を当てたベンチマークである。 XTREME-UPは、88言語にまたがる言語モデルが、9つのキーとなるユーザー中心技術上で機能する能力を評価する。
論文参考訳（メタデータ） (2023-05-19T18:00:03Z)
Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。これらのデータセットは10以上のプログラミング言語をカバーする。コード生成モデルの性能を多言語で評価することができる。
論文参考訳（メタデータ） (2022-10-26T17:17:06Z)
Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? A Comprehensive Assessment for Catalan [0.05277024349608833]
この研究はカタルーニャ語に焦点を当て、中規模のモノリンガル言語モデルが最先端の大規模多言語モデルとどの程度競合するかを探求することを目的としている。クリーンで高品質なカタルーニャ語コーパス(CaText)を構築し、カタルーニャ語(BERTa)のためのトランスフォーマーベースの言語モデルを訓練し、様々な設定で徹底的に評価する。その結果,カタルーニャ語理解ベンチマーク(CLUB, Catalan Language Understanding Benchmark)が,オープンリソースとして公開された。
論文参考訳（メタデータ） (2021-07-16T13:52:01Z)
X-FACT: A New Benchmark Dataset for Multilingual Fact Checking [21.2633064526968]
本稿では,X-FACTについて紹介する。X-FACTは,自然に存在する実世界のクレームの事実検証のための,多言語データセットとして最大である。データセットには25の言語で短いステートメントが含まれており、専門家のファクトチェッカーによって正確性を示すラベルが付けられている。
論文参考訳（メタデータ） (2021-06-17T05:09:54Z)
XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
論文参考訳（メタデータ） (2020-10-13T15:32:00Z)
XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
論文参考訳（メタデータ） (2020-05-01T12:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。