論文の概要: LongHisDoc: A Comprehensive Benchmark for Chinese Long Historical Document Understanding

• arxiv url: http://arxiv.org/abs/2610.14531v1
• Date: Sat, 10 Oct 2026 03:44:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 13:04:24.879697
• Title: LongHisDoc: A Comprehensive Benchmark for Chinese Long Historical Document Understanding
• Title（参考訳）: LongHisDoc: 中国語の長い歴史文書理解のための総合ベンチマーク
• Abstract要約: LongHisDocは101のPDF文書から派生した1012のエキスパートアノテーション付きQAペアで構成されている。 10のカテゴリにまたがり、シングルページ、クロスページ、マルチホップ、未解決の4つのQAタイプがある。 評価の結果,LVLMは62.9%,LLMは69.9%であった。
• 参考スコア（独自算出の注目度）: 40.080508242272145
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Chinese historical documents are invaluable cultural treasures, but their complexity poses significant comprehension challenges for non-specialists. Despite the success of Large Language Models (LLMs) and Large Vision-Language Models (LVLMs) in modern document tasks, their capabilities in Long (full-book) Historical Document understanding remain largely unexplored. To bridge this gap, we introduce LongHisDoc, the first benchmark tailored for long historical document understanding. LongHisDoc comprises 1,012 expert-annotated QA pairs derived from 101 PDF documents, with an average of 85.1 pages and 42,776.4 tokens per document. It spans 10 categories and features four QA types: single-page, cross-page, multi-hop, and unanswerable. Answering these questions requires integrating multimodal evidence from text, layout, and visual elements. Our evaluation reveals that the top-performing LVLM and LLM achieve only 62.9% and 69.9% accuracy, respectively, highlighting a substantial performance gap. Furthermore, we assess various modal retrievers and the end-to-end RAG performance to provide references for Retrieval-Augmented Generation (RAG) systems. We believe that LongHisDoc serves as a comprehensive benchmark to catalyze future research in full-book historical document understanding. The benchmark and evaluation code are available at https://huggingface.co/datasets/qweq12433454/LongHisDoc and https://github.com/SCUT-DLVCLab/LongHisDoc.
• Abstract（参考訳）: 中国の史料は貴重な文化財であるが、その複雑さは非専門主義者にとって重大な理解の難しさを招いている。 大規模言語モデル(LLM)やLVLM(Large Vision-Language Models)が現代文書タスクで成功したにも拘わらず、その長文(全書)歴史文書理解能力はほとんど未解明のままである。 このギャップを埋めるために、歴史文書の長い理解に適した最初のベンチマークであるLongHisDocを紹介します。 LongHisDocは101のPDF文書から得られた1012のエキスパート注釈付きQAペアで構成され、平均85.1ページと42,776.4トークンがある。 10のカテゴリにまたがり、シングルページ、クロスページ、マルチホップ、未解決の4つのQAタイプがある。 これらの疑問に答えるには、テキスト、レイアウト、視覚要素からマルチモーダルなエビデンスを統合する必要がある。 評価の結果,最高性能のLVLMとLLMは,それぞれ62.9%と69.9%の精度しか達成できず,性能差が顕著であった。 さらに、様々なモーダルレトリバーとエンドツーエンドRAG性能を評価し、検索・拡張生成(RAG)システムへの参照を提供する。 われわれは、LongHisDocが、フルブックの歴史的文書理解における将来の研究を触媒する包括的なベンチマークとなると信じている。 ベンチマークと評価コードはhttps://huggingface.co/datasets/qweq12433454/LongHisDocとhttps://github.com/SCUT-DLVCLab/LongHisDocで公開されている。

関連論文リスト

• XL-DocBench: Benchmarking Evidence-Grounded Extra-Long Document Understanding [66.6175918865927]
  XL-DocBenchは、超長期文書理解のための完全に人間検証されたベンチマークである。 1,519人は6つの専門ドメインと2,303ページまでのコンテキストからの質問を保持した。 各質問には、12の推論ラベル、専門家による注釈付きエビデンスページ、型付き検証ルール、回答フォーマットの1つがある。
  論文  参考訳（メタデータ） (2026-07-21T09:38:24Z)
• Dr. DocBench: A Comprehensive Benchmark for Expert-Level and Difficult Document Parsing [53.41293908252118]
  我々は、エキスパートレベルの文書解析のための困難を意識したベンチマークであるDocBench博士を紹介する。 Dr. DocBenchは52のBISACドメインにまたがり、障害ベースのサンプリングによってドキュメントを選択する。 約100ページにわたる長いドキュメントから4,514ページの注釈付きページが含まれており、レイアウト、読み込み順序、階層的関係、ドメイン固有のビジュアルコンテンツなど、65kの高品質なアノテーションがある。 本分析では,文書インテリジェンスを診断・進展するための総合的なテストベッドとしてDocBench博士が注目されている。
  論文  参考訳（メタデータ） (2026-05-31T18:35:30Z)
• Document Haystack: A Long Context Multimodal Image/Document Understanding Vision LLM Benchmark [6.722613897911759]
  Document Haystackは、長いドキュメント上での視覚言語モデル(VLM)のパフォーマンスを評価するために設計されたベンチマークである。 Document Haystackは5ページから200ページに及ぶドキュメントを特徴とし、文書内の様々な深さで、純粋なテキストやマルチモーダルテキスト+イメージを戦略的に挿入する。
  論文  参考訳（メタデータ） (2025-07-18T19:33:15Z)
• MMLongBench-Doc: Benchmarking Long-context Document Understanding with Visualizations [105.10376440302076]
  MMLongBench-Doc は 1,062 のエキスパート注釈付き質問を含む長文マルチモーダルベンチマークである。 130の長いPDFフォーマットの文書の上に構築されており、平均49.4ページと20,971のテキストトークンがある。 14個のLVLMの実験により、長いコンテキストのDUが現在のモデルに大きく挑戦することを示した。
  論文  参考訳（メタデータ） (2024-07-01T17:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。