論文の概要: Document Understanding Dataset and Evaluation (DUDE)

• arxiv url: http://arxiv.org/abs/2305.08455v2
• Date: Tue, 30 May 2023 10:06:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 00:42:17.491353
• Title: Document Understanding Dataset and Evaluation (DUDE)
• Title（参考訳）: 文書理解データセットと評価(DUDE)
• Authors: Jordy Van Landeghem, Rub\'en Tito, {\L}ukasz Borchmann, Micha{\l} Pietruszka, Pawe{\l} J\'oziak, Rafa{\l} Powalski, Dawid Jurkiewicz, Micka\"el Coustaty, Bertrand Ackaert, Ernest Valveny, Matthew Blaschko, Sien Moens, Tomasz Stanis{\l}awek
• Abstract要約: 文書理解データセットと評価(DUDE)は、視覚に富む文書(VRD)の理解において、研究の進展が止まったことを改善しようとしている。 我々は,様々な起源と日付の多産業,多ドメイン,多ページVRDに基づく,質問の種類,回答,文書レイアウトに関する新しいデータセットを提案する。
• 参考スコア（独自算出の注目度）: 22.68762951365477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We call on the Document AI (DocAI) community to reevaluate current methodologies and embrace the challenge of creating more practically-oriented benchmarks. Document Understanding Dataset and Evaluation (DUDE) seeks to remediate the halted research progress in understanding visually-rich documents (VRDs). We present a new dataset with novelties related to types of questions, answers, and document layouts based on multi-industry, multi-domain, and multi-page VRDs of various origins, and dates. Moreover, we are pushing the boundaries of current methods by creating multi-task and multi-domain evaluation setups that more accurately simulate real-world situations where powerful generalization and adaptation under low-resource settings are desired. DUDE aims to set a new standard as a more practical, long-standing benchmark for the community, and we hope that it will lead to future extensions and contributions that address real-world challenges. Finally, our work illustrates the importance of finding more efficient ways to model language, images, and layout in DocAI.
• Abstract（参考訳）: 私たちはDocAIコミュニティに、現在の方法論を再評価し、より実用的なベンチマークを作成するという課題を受け入れるよう呼びかけています。 Document Understanding Dataset and Evaluation (DUDE) は、視覚的にリッチなドキュメント(VRD)の理解において、中断した研究の進捗を改善しようとしている。 我々は,様々な起源と日付の多産業,多ドメイン,多ページVRDに基づく,質問の種類,回答,文書レイアウトに関する新しいデータセットを提案する。 さらに、低リソース環境下での強力な一般化と適応が望まれる現実の状況をより正確にシミュレートするマルチタスクおよびマルチドメイン評価設定を作成することで、現在の手法の境界を推し進めている。 DUDEは、コミュニティにとってより実用的で長期間続くベンチマークとして、新しい標準を設定することを目的としています。 最後に、docaiで言語、画像、レイアウトをモデル化するより効率的な方法を見つけることの重要性を説明している。

関連論文リスト

• GraphRevisedIE: Multimodal Information Extraction with Graph-Revised Network [3.9472311338123287]
  視覚的にリッチなドキュメント(VRD)から重要な情報を抽出することは、文書インテリジェンスにおいて難しい課題である。 本稿では,VRDからテキスト,視覚,レイアウトなどのマルチモーダル機能を効果的に組み込む軽量モデルGraphIEを提案する。 複数の実世界のデータセットに対する大規模な実験は、GraphIERevisedsが様々なレイアウトのドキュメントに一般化し、以前のKIEメソッドと同等またはより良いパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2024-10-02T01:29:49Z)
• MetaSumPerceiver: Multimodal Multi-Document Evidence Summarization for Fact-Checking [0.283600654802951]
  マルチモーダルデータセットからファクトチェックに有用なクレーム固有の要約を生成するために設計された要約モデルを提案する。 任意の長さの複数のモードから入力を処理できる動的知覚モデルを提案する。 提案手法は,MOCHEGデータセットのクレーム検証タスクにおいて,SOTAアプローチを4.6%向上させる。
  論文  参考訳（メタデータ） (2024-07-18T01:33:20Z)
• CoIR: A Comprehensive Benchmark for Code Information Retrieval Models [56.691926887209895]
  textbfInformation textbfRetrieval Benchmark(textbfInformation textbfRetrieval Benchmark)は,コード検索機能の評価に特化して設計された,堅牢で包括的なベンチマークである。 名前は、Textbftenを巧みにキュレートしたコードデータセットから成り、textbfs7の異なるドメインにまたがる、textbfeight特有の検索タスクにまたがる。 我々は9つの広く使われている検索モデルを名前を用いて評価し、最先端のシステムであってもコード検索タスクの実行に重大な困難を見出した。
  論文  参考訳（メタデータ） (2024-07-03T07:58:20Z)
• R-Eval: A Unified Toolkit for Evaluating Domain Knowledge of Retrieval Augmented Large Language Models [51.468732121824125]
  大規模言語モデルは一般的なNLPタスクにおいて顕著な成功を収めてきたが、ドメイン固有の問題には不足する可能性がある。 既存の評価ツールは、ドメイン知識の深さを掘り下げることなく、いくつかのベースラインを提供し、様々なドメインで評価するのみである。 本稿では、R-Evalツールキット(R-Evalツールキット)を導入し、異なるRAGの評価を合理化することによるALLMの評価の課題に対処する。
  論文  参考訳（メタデータ） (2024-06-17T15:59:49Z)
• On Task-personalized Multimodal Few-shot Learning for Visually-rich Document Entity Retrieval [59.25292920967197]
  VDER(Few-shot document entity search)は、NLPアプリケーションにおいて重要なトピックである。 FewVEXは、エンティティレベルの少数ショットVDERの分野における将来の研究を促進するための、新しいデータセットである。 本稿では,タスクパーソナライズを効果的に実現することを中心に,タスク認識型メタラーニングベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-01T17:51:43Z)
• Peek Across: Improving Multi-Document Modeling via Cross-Document Question-Answering [49.85790367128085]
  我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。 この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。 分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
  論文  参考訳（メタデータ） (2023-05-24T17:48:40Z)
• PDSum: Prototype-driven Continuous Summarization of Evolving Multi-document Sets Stream [33.68263291948121]
  我々は,新たな要約問題であるマルチドキュメントセットストリーム要約(EMDS)を提案する。 本稿では,プロトタイプ駆動連続要約のアイデアを取り入れた新しい教師なしアルゴリズムPDSumを紹介する。 PDSumは、各マルチドキュメントセットの軽量プロトタイプを構築し、それを利用して、新しいドキュメントに適応する。
  論文  参考訳（メタデータ） (2023-02-10T23:43:46Z)
• WSL-DS: Weakly Supervised Learning with Distant Supervision for Query Focused Multi-Document Abstractive Summarization [16.048329028104643]
  Query Focused Multi-Document Summarization (QF-MDS)タスクでは、ドキュメントのセットとクエリが与えられ、そこでこれらのドキュメントから要約を生成する。 このタスクの大きな課題のひとつは、ラベル付きトレーニングデータセットの可用性の欠如である。 本稿では,遠隔指導による弱教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T02:02:55Z)
• SupMMD: A Sentence Importance Model for Extractive Summarization using Maximum Mean Discrepancy [92.5683788430012]
  SupMMDは、カーネルの2サンプルテストと最大の相違点に基づく、ジェネリックおよび更新の要約のための新しいテクニックである。 DUC-2004 および TAC-2009 データセット上での現在の技術状況を満たしたり超えたりすることで,SupMMD の総合的および更新的要約タスクにおける有効性を示す。
  論文  参考訳（メタデータ） (2020-10-06T09:26:55Z)
• SciREX: A Challenge Dataset for Document-Level Information Extraction [56.83748634747753]
  ドキュメントレベルで大規模な情報抽出データセットを作成するのは難しい。 複数のIEタスクを含む文書レベルのIEデータセットであるSciREXを紹介する。 我々は、従来の最先端のIEモデルをドキュメントレベルのIEに拡張する強力なベースラインとして、ニューラルモデルを開発する。
  論文  参考訳（メタデータ） (2020-05-01T17:30:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。