論文の概要: WildDoc: How Far Are We from Achieving Comprehensive and Robust Document Understanding in the Wild?

• arxiv url: http://arxiv.org/abs/2505.11015v2
• Date: Tue, 27 May 2025 08:00:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 14:37:19.459841
• Title: WildDoc: How Far Are We from Achieving Comprehensive and Robust Document Understanding in the Wild?
• Title（参考訳）: WildDoc: ワイルドで包括的でロバストなドキュメント理解を実現するには,どこまでかかるのか?
• Authors: An-Lan Wang, Jingqun Tang, Liao Lei, Hao Feng, Qi Liu, Xiang Fei, Jinghui Lu, Han Wang, Weiwei Liu, Hao Liu, Yuliang Liu, Xiang Bai, Can Huang,
• Abstract要約: 本稿では,自然環境における文書理解の評価に特化して設計されたWildDocについて紹介する。 WildDoc上での最先端MLLMの評価は、従来のベンチマークと比べて性能が大幅に低下し、モデルの頑健さが不十分であることを示す。
• 参考スコア（独自算出の注目度）: 64.62909376834601
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The rapid advancements in Multimodal Large Language Models (MLLMs) have significantly enhanced capabilities in Document Understanding. However, prevailing benchmarks like DocVQA and ChartQA predominantly comprise \textit{scanned or digital} documents, inadequately reflecting the intricate challenges posed by diverse real-world scenarios, such as variable illumination and physical distortions. This paper introduces WildDoc, the inaugural benchmark designed specifically for assessing document understanding in natural environments. WildDoc incorporates a diverse set of manually captured document images reflecting real-world conditions and leverages document sources from established benchmarks to facilitate comprehensive comparisons with digital or scanned documents. Further, to rigorously evaluate model robustness, each document is captured four times under different conditions. Evaluations of state-of-the-art MLLMs on WildDoc expose substantial performance declines and underscore the models' inadequate robustness compared to traditional benchmarks, highlighting the unique challenges posed by real-world document understanding. Our project homepage is available at https://bytedance.github.io/WildDoc.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)の急速な進歩により、文書理解の能力は大幅に向上した。 しかし、DocVQAやChartQAのような一般的なベンチマークは、主にtextit{scanned or digital}ドキュメントで構成されており、可変照明や物理的歪みといった様々な現実世界のシナリオによって引き起こされる複雑な課題を十分に反映していない。 本稿では,自然環境における文書理解の評価に特化して設計されたWildDocについて紹介する。 WildDocには、現実世界の状況を反映したさまざまな手動のドキュメントイメージが組み込まれており、既存のベンチマークからのドキュメントソースを活用して、デジタルまたはスキャンされたドキュメントとの包括的な比較を容易にする。 さらに、モデルロバスト性を厳格に評価するために、異なる条件下で各文書を4回キャプチャする。 WildDoc上での最先端のMLLMの評価は、パフォーマンスの大幅な低下を示し、従来のベンチマークと比べてモデルの不適切な堅牢性を強調し、現実世界の文書理解によって引き起こされる固有の課題を強調している。 私たちのプロジェクトのホームページはhttps://bytedance.github.io/WildDocで公開されています。

関連論文リスト

• M-DocSum: Do LVLMs Genuinely Comprehend Interleaved Image-Text in Document Summarization? [49.53982792497275]
  本稿では,LVLM(Large Vision-Language Models)が文書中のインターリーブ画像テキストを真に理解しているかどうかを検討する。 既存の文書理解ベンチマークは、しばしば質問応答形式を用いてLVLMを評価する。 マルチモーダル文書要約ベンチマーク(M-DocSum-Bench)について紹介する。 M-DocSum-Benchは500の高品質なarXiv論文と、人間の好みに合わせたインターリーブされたマルチモーダル要約で構成されている。
  論文  参考訳（メタデータ） (2025-03-27T07:28:32Z)
• OmniDocBench: Benchmarking Diverse PDF Document Parsing with Comprehensive Annotations [22.336858733121158]
  OmniDocBenchは9つのドキュメントソースにまたがる高品質なアノテーションを特徴とする新しいベンチマークです。 パイプラインベースの手法とエンドツーエンドのビジョン言語モデルの両方を徹底的に評価する。
  論文  参考訳（メタデータ） (2024-12-10T16:05:56Z)
• M3DocRAG: Multi-modal Retrieval is What You Need for Multi-page Multi-document Understanding [63.33447665725129]
  M3DocRAGは、様々な文書コンテキストに柔軟に対応する新しいマルチモーダルRAGフレームワークである。 M3DocRAGは視覚情報を保存しながら、単一の文書や多数の文書を効率的に処理できる。 M3DocVQAはオープンドメインDocVQAを3,000以上のPDFドキュメントと4万以上のページで評価するための新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-11-07T18:29:38Z)
• GlobalDoc: A Cross-Modal Vision-Language Framework for Real-World Document Image Retrieval and Classification [8.880856137902947]
  我々は、自己教師型で事前訓練されたクロスモーダルトランスフォーマーベースのアーキテクチャであるGlobalDocを紹介する。 GlobalDocは、言語と視覚表現を統合することによって、よりリッチなセマンティックな概念の学習を改善する。 適切な評価のために,Few-Shot Document Image Classification (DIC)とContent-based Document Image Retrieval (DIR)の2つの新しい文書レベル下流VDUタスクを提案する。
  論文  参考訳（メタデータ） (2023-09-11T18:35:14Z)
• mPLUG-DocOwl: Modularized Multimodal Large Language Model for Document Understanding [55.4806974284156]
  文書理解とは、ウェブページのようなデジタル文書から自動的に情報を抽出し、分析し、理解することである。 既存のMLLM(Multi-model Large Language Models)は、浅いOCRフリーテキスト認識において、望ましくないゼロショット機能を実証している。
  論文  参考訳（メタデータ） (2023-07-04T11:28:07Z)
• XDoc: Unified Pre-training for Cross-Format Document Understanding [84.63416346227176]
  XDocは、単一のモデルで異なるドキュメントフォーマットを扱う、統合された事前訓練されたモデルである。 XDocは、トレーニング済みの個々のモデルと比較して、さまざまなダウンストリームタスクで同等またはそれ以上のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-10-06T12:07:18Z)
• DocBank: A Benchmark Dataset for Document Layout Analysis [114.81155155508083]
  文書レイアウト解析のための詳細なトークンレベルのアノテーションを備えた500Kドキュメントページを含むベンチマークデータセットである textbfDocBank を提示する。 実験の結果,DocBankでトレーニングされたモデルは,さまざまなドキュメントのレイアウト情報を正確に認識することがわかった。
  論文  参考訳（メタデータ） (2020-06-01T16:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。