論文の概要: OmniDocBench: Benchmarking Diverse PDF Document Parsing with Comprehensive Annotations

• arxiv url: http://arxiv.org/abs/2412.07626v2
• Date: Tue, 25 Mar 2025 06:19:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:52:32.670949
• Title: OmniDocBench: Benchmarking Diverse PDF Document Parsing with Comprehensive Annotations
• Title（参考訳）: OmniDocBench: 包括的なアノテーションによる多言語PDFドキュメントのベンチマーク
• Authors: Linke Ouyang, Yuan Qu, Hongbin Zhou, Jiawei Zhu, Rui Zhang, Qunshu Lin, Bin Wang, Zhiyuan Zhao, Man Jiang, Xiaomeng Zhao, Jin Shi, Fan Wu, Pei Chu, Minghao Liu, Zhenxiang Li, Chao Xu, Bo Zhang, Botian Shi, Zhongying Tu, Conghui He,
• Abstract要約: OmniDocBenchは9つのドキュメントソースにまたがる高品質なアノテーションを特徴とする新しいベンチマークです。 パイプラインベースの手法とエンドツーエンドのビジョン言語モデルの両方を徹底的に評価する。
• 参考スコア（独自算出の注目度）: 22.336858733121158
• License:
• Abstract: Document content extraction is a critical task in computer vision, underpinning the data needs of large language models (LLMs) and retrieval-augmented generation (RAG) systems. Despite recent progress, current document parsing methods have not been fairly and comprehensively evaluated due to the narrow coverage of document types and the simplified, unrealistic evaluation procedures in existing benchmarks. To address these gaps, we introduce OmniDocBench, a novel benchmark featuring high-quality annotations across nine document sources, including academic papers, textbooks, and more challenging cases such as handwritten notes and densely typeset newspapers. OmniDocBench supports flexible, multi-level evaluations--ranging from an end-to-end assessment to the task-specific and attribute--based analysis using 19 layout categories and 15 attribute labels. We conduct a thorough evaluation of both pipeline-based methods and end-to-end vision-language models, revealing their strengths and weaknesses across different document types. OmniDocBench sets a new standard for the fair, diverse, and fine-grained evaluation in document parsing. Dataset and code are available at https://github.com/opendatalab/OmniDocBench.
• Abstract（参考訳）: 文書コンテンツ抽出はコンピュータビジョンにおいて重要な課題であり、大規模言語モデル(LLM)と検索拡張生成(RAG)システムのデータ要求を支えている。 近年の進歩にもかかわらず、文書型の範囲が狭く、既存のベンチマークで単純化された非現実的な評価手順により、現在の文書解析手法は十分に、かつ包括的に評価されていない。 OmniDocBenchは、学術論文、教科書、手書き手書き手書き新聞などのより困難なケースを含む9つの文書ソースにまたがる高品質なアノテーションを特徴とする、新しいベンチマークである。 OmniDocBenchはフレキシブルでマルチレベルな評価をサポートします。19のレイアウトカテゴリと15の属性ラベルを使用して、エンドツーエンドの評価からタスク固有の属性ベースの分析まで。 パイプラインベースの手法とエンドツーエンドのビジョン言語モデルの両方を徹底的に評価し、それぞれの長所と短所を異なるドキュメントタイプで明らかにする。 OmniDocBenchは、ドキュメント解析における公平で多様できめ細かい評価のための新しい標準を設定している。 データセットとコードはhttps://github.com/opendatalab/OmniDocBench.comで入手できる。

関連論文リスト

• BigDocs: An Open and Permissively-Licensed Dataset for Training Multimodal Models on Document and Code Tasks [55.61185100263898]
  我々は,30タスクにわたる750万のマルチモーダルドキュメントからなる高品質なオープンアクセスデータセットであるBigDocs-7.5Mを紹介した。 BigDocs-Benchも導入しています。 実験の結果,BigDocs-Bench を用いたトレーニングでは,クローズドソース GPT-4o よりも平均性能が 25.8% 向上していることがわかった。
  論文  参考訳（メタデータ） (2024-12-05T21:41:20Z)
• M3DocRAG: Multi-modal Retrieval is What You Need for Multi-page Multi-document Understanding [63.33447665725129]
  M3DocRAGは、様々な文書コンテキストに柔軟に対応する新しいマルチモーダルRAGフレームワークである。 M3DocRAGは視覚情報を保存しながら、単一の文書や多数の文書を効率的に処理できる。 M3DocVQAはオープンドメインDocVQAを3,000以上のPDFドキュメントと4万以上のページで評価するための新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-11-07T18:29:38Z)
• MMDocBench: Benchmarking Large Vision-Language Models for Fine-Grained Visual Document Understanding [66.23502779435053]
  LVLM(Large Vision-Language Models)は多くの視覚言語タスクにおいて顕著な性能を発揮している。 既存のベンチマークには、他のデータと混合された詳細な評価サンプルが限られているか、あるいは自然画像のオブジェクトレベルの評価に限られている。 自然画像の補足に多粒度および多モード情報を用いた文書画像を提案する。
  論文  参考訳（メタデータ） (2024-10-25T16:00:55Z)
• SynthDoc: Bilingual Documents Synthesis for Visual Document Understanding [23.910783272007407]
  本稿では、ビジュアル文書理解(VDU)を強化するために設計された新しい合成文書生成パイプラインであるSynthDocを紹介する。 データ取得の課題と既存のデータセットの制限に対処するため、SynthDocは、一般公開されたコーパスと高度なレンダリングツールを活用して、包括的な汎用データセットを作成する。 ドナウモデルを用いて実験を行った結果,SynthDocのデータを用いて学習したモデルは,事前学習された読み出しタスクにおいて優れた性能を示し,言語的矛盾にもかかわらず,下流タスクにおいて堅牢性を維持することができた。
  論文  参考訳（メタデータ） (2024-08-27T03:31:24Z)
• DocGenome: An Open Large-scale Scientific Document Benchmark for Training and Testing Multi-modal Large Language Models [63.466265039007816]
  我々は、arXivオープンアクセスコミュニティの153の分野から500Kの科学文書を注釈付けして構築した構造化文書ベンチマークDocGenomeを提案する。 我々はDocGenomeの利点を実証するために広範な実験を行い、我々のベンチマークで大規模モデルの性能を客観的に評価した。
  論文  参考訳（メタデータ） (2024-06-17T15:13:52Z)
• Unifying Multimodal Retrieval via Document Screenshot Embedding [92.03571344075607]
  Document Screenshot Embedding (DSE)は、文書のスクリーンショットを統一的な入力フォーマットとして扱う新しい検索パラダイムである。 まず、Wiki-SSというウィキペディアのウェブページのスクリーンショットをコーパスとして作成し、Natural Questionsデータセットからの質問に答える。 例えば、DSEは、BM25をトップ1検索精度で17ポイント上回り、さらにスライド検索の混合モダリティタスクでは、nDCG@10で15ポイント以上OCRテキスト検索手法を著しく上回ります。
  論文  参考訳（メタデータ） (2024-06-17T06:27:35Z)
• DELINE8K: A Synthetic Data Pipeline for the Semantic Segmentation of Historical Documents [0.0]
  文書セマンティックセグメンテーションは、OCR、フォーム分類、文書編集などの文書解析作業を容易にする。 いくつかの合成データセットは、印刷されたテキストと手書きを区別するために開発されたが、それらはクラス多様性と文書の多様性に欠ける。 現在までに最も包括的な文書セマンティックセマンティクスパイプラインを提案し、10以上のソースからプレプリントされたテキスト、手書き、文書背景を組み込んだ。 我々のカスタマイズされたデータセットはNAFSSベンチマークで優れたパフォーマンスを示し、さらなる研究において有望なツールであることを示した。
  論文  参考訳（メタデータ） (2024-04-30T04:53:10Z)
• Beyond Document Page Classification: Design, Datasets, and Challenges [32.94494070330065]
  本稿では,文書分類ベンチマークを現実のアプリケーションに近づける必要性を強調した。 我々は、パブリックなマルチページ文書分類データセットの欠如を特定し、アプリケーションシナリオにおける異なる分類タスクを形式化し、効率的なマルチページ文書表現をターゲットとする価値を動機づける。
  論文  参考訳（メタデータ） (2023-08-24T16:16:47Z)
• docExtractor: An off-the-shelf historical document element extraction [18.828438308738495]
  文献からテキストやイラストなどの視覚的要素を抽出する汎用的手法である docExtractor を提案する。 さまざまなデータセットにまたがるオフザシェルフシステムとして,高品質なパフォーマンスを提供することを実証する。 IlluHisDocと呼ばれる新しい公開データセットを導入し、歴史文書におけるイラストのセグメンテーションを詳細に評価する。
  論文  参考訳（メタデータ） (2020-12-15T10:19:18Z)
• DocBank: A Benchmark Dataset for Document Layout Analysis [114.81155155508083]
  文書レイアウト解析のための詳細なトークンレベルのアノテーションを備えた500Kドキュメントページを含むベンチマークデータセットである textbfDocBank を提示する。 実験の結果,DocBankでトレーニングされたモデルは,さまざまなドキュメントのレイアウト情報を正確に認識することがわかった。
  論文  参考訳（メタデータ） (2020-06-01T16:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。