論文の概要: WildHandBench: A Benchmark for Handwritten Text Understanding that Challenges MLLMs and Humans
- arxiv url: http://arxiv.org/abs/2608.22959v1
- Date: Mon, 24 Aug 2026 08:25:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.971149
- Title: WildHandBench: A Benchmark for Handwritten Text Understanding that Challenges MLLMs and Humans
- Title（参考訳）: WildHandBench:MLLMと人間に挑戦する手書きテキスト理解ベンチマーク
- Abstract要約: 本稿では,3つの構造(自由テキスト,表,式),4言語,9つの実世界のシナリオを対象とした500個の手書き文書を含むベンチマークを提案する。
視覚的証拠ではなく,言語先行から発生する誤りを定量化するPDE(Presideed-Driven Error)メトリクスを導入する。
- 参考スコア（独自算出の注目度）: 5.993812625110576
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While the top model on OmniDocBench now reaches 96.34% overall on printed-document parsing, the ability of current models to handle challenging handwritten documents remains largely uncharacterized. Existing benchmarks focus on isolated text or formulas, overlook handwritten tables and real-world degradation, and report aggregate accuracy without explaining why models fail. We present WildHandBench, a benchmark containing 500 handwritten documents across three structures (free text, tables, formulas), four languages, and nine real-world scenarios. We introduce a Prior-Driven Error (PDE) metric that quantifies whether errors originate from language priors rather than visual evidence. Evaluating 18 state-of-the-art models together with calibrated human baselines, we find: (1) the best model achieves only 71.85% overall; (2) humans outperform all models yet the gap is narrow (77.09% vs. 71.85%); and (3) model errors are qualitatively different from human errors -- 63-91% of model errors are prior-driven versus only 49% for humans, exposing systematic reliance on language priors that conventional accuracy metrics cannot capture.
- Abstract（参考訳）: OmniDocBenchの上位モデルは、印刷文書のパースで96.34%に達したが、現在の手書き文書を扱う能力は、ほとんど役に立たないままである。
既存のベンチマークでは、孤立したテキストや公式、手書きのテーブルの見落とし、現実世界の劣化、そしてなぜモデルが失敗するのかを説明することなく集約の正確さを報告している。
WildHandBenchは3つの構造(フリーテキスト、テーブル、式)、4つの言語、9つの実世界のシナリオにまたがる500個の手書き文書を含むベンチマークである。
視覚的証拠ではなく,言語先行から発生する誤りを定量化するPDE(Presideed-Driven Error)メトリクスを導入する。
1) 最高のモデルが全体の71.85%しか達成していないこと、(2) 人間はすべてのモデルより優れており、ギャップは狭く(77.09%対71.85%)、(3) モデルエラーは、人間のエラーと質的に異なる。
関連論文リスト
- How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - The Structured Output Benchmark: A Multi-Source Benchmark for Evaluating Structured Output Quality in Large Language Models [0.23332469289621785]
SOB(Structured Output Benchmark)は3つのソースにまたがるマルチソースベンチマークである。
すべてのモデルは、ソースのモダリティに関係なく、コンテキストのテキスト正規化表現を受け取る。
モデルは、ほぼ完璧なスキーマコンプライアンスを実現するが、正確な葉値マッチングによって測定された最高の値精度は、テキスト上では83.0%にしか達しない。
論文 参考訳（メタデータ） (2026-04-28T08:27:01Z) - Semantic Layers for Reliable LLM-Powered Data Analytics: A Paired Benchmark of Accuracy and Hallucination Across Three Frontier Models [0.0]
解析データベースの自然言語クエリ用にデプロイされたLLMは、2つの障害に悩まされる。
ClickHouseのCleaned Contoso Retailデータセットに対して,100の自然言語質問に対して,3つのフロンティアLSMをベンチマークした。
論文 参考訳（メタデータ） (2026-04-28T02:53:23Z) - Beyond Correctness: Evaluating Subjective Writing Preferences Across Cultures [87.75098311090642]
現在の選好学習法は、標準ベンチマークで高い精度を達成するが、客観的な品質信号を取り除いた場合、顕著な性能劣化を示す。
我々は、8つのクリエイティブな著作ジャンルにまたがる1,800の人手による好みペア(1,200の英語、600の中国語)のデータセットであるWriteingPreferenceBenchを紹介した。
論文 参考訳（メタデータ） (2025-10-16T12:23:13Z) - Approximating Language Model Training Data from Weights [70.08614275061689]
モデル重みからデータ近似の問題を定式化し、いくつかのベースラインとメトリクスを提案する。
そこで我々は,大規模公開テキストコーパスから最高のマッチングデータを選択する勾配に基づく手法を開発した。
真のトレーニングデータがない場合でも、我々の方法では、公開Webドキュメントの小さなサブセットを見つけることができる。
論文 参考訳（メタデータ） (2025-06-18T15:26:43Z) - LINGOLY: A Benchmark of Olympiad-Level Linguistic Reasoning Puzzles in Low-Resource and Extinct Languages [8.754506364968394]
LingOlyベンチマークは、大規模言語モデルにおける高度な推論能力のための新しいベンチマークである。
非常に低リソースまたは絶滅した言語における言語パターンの文脈内同定と一般化の能力を評価する。
直接精度と非文脈ベースラインとの比較により,暗記を暗記する性能を評価する。
論文 参考訳（メタデータ） (2024-06-10T11:50:29Z) - Assessing the Efficacy of Grammar Error Correction: A Human Evaluation
Approach in the Japanese Context [10.047123247001714]
我々は,最先端のシーケンスタギング文法誤り検出・修正モデル(SeqTagger)の性能評価を行った。
自動アノテーションツールキット ERRANT を用いて,SeqTagger の性能評価を行った。
その結果、精度は63.66%、リコールは20.19%であった。
論文 参考訳（メタデータ） (2024-02-28T06:43:43Z) - Retrieval is Accurate Generation [99.24267226311157]
本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。
本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
論文 参考訳（メタデータ） (2024-02-27T14:16:19Z) - MISMATCH: Fine-grained Evaluation of Machine-generated Text with
Mismatch Error Types [68.76742370525234]
テキスト間のきめ細かいミスマッチに基づいて、7つのNLPタスクにおける人間の判断をモデル化する新しい評価手法を提案する。
細粒度評価のためのNLPタスクの最近の取り組みに触発されて,13種類のミスマッチエラータイプを紹介した。
7つのNLPタスクから得られた有意なデータセットの文対間のミスマッチ誤差は,人間の評価とよく一致している。
論文 参考訳（メタデータ） (2023-06-18T01:38:53Z) - Handwritten Word Recognition using Deep Learning Approach: A Novel Way
of Generating Handwritten Words [14.47529728678643]
本稿では,手書き文字を用いた多様な手書き語画像を生成する手法を提案する。
アプローチ全体は、大きくて多様な手書きの単語データセットを生成する過程を示している。
実験では,手書きの単語データセットが欠けているBangla言語をターゲットにした。
論文 参考訳（メタデータ） (2023-03-13T22:58:34Z) - PART: Pre-trained Authorship Representation Transformer [52.623051272843426]
文書を書く著者は、自分のテキストに識別情報を印字する。
以前の作品では、手作りの機能や分類タスクを使って著者モデルを訓練していた。
セマンティクスの代わりにテキストの埋め込みを学習するために、対照的に訓練されたモデルを提案する。
論文 参考訳（メタデータ） (2022-09-30T11:08:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。