論文の概要: KIEval: Evaluation Metric for Document Key Information Extraction

• arxiv url: http://arxiv.org/abs/2503.05488v2
• Date: Wed, 26 Mar 2025 12:55:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 16:24:48.830570
• Title: KIEval: Evaluation Metric for Document Key Information Extraction
• Title（参考訳）: KIEval: 文書鍵情報抽出のための評価基準
• Authors: Minsoo Khang, Sang Chul Jung, Sungrae Park, Teakgyu Hong,
• Abstract要約: ドキュメントキー情報抽出(KIE)は、文書画像中の貴重な情報を構造化データに変換する技術である。 我々は、ドキュメントKIEモデルのための新しいアプリケーション中心評価指標であるKIEvalを提案する。
• 参考スコア（独自算出の注目度）: 10.12587502045854
• License:
• Abstract: Document Key Information Extraction (KIE) is a technology that transforms valuable information in document images into structured data, and it has become an essential function in industrial settings. However, current evaluation metrics of this technology do not accurately reflect the critical attributes of its industrial applications. In this paper, we present KIEval, a novel application-centric evaluation metric for Document KIE models. Unlike prior metrics, KIEval assesses Document KIE models not just on the extraction of individual information (entity) but also of the structured information (grouping). Evaluation of structured information provides assessment of Document KIE models that are more reflective of extracting grouped information from documents in industrial settings. Designed with industrial application in mind, we believe that KIEval can become a standard evaluation metric for developing or applying Document KIE models in practice. The code will be publicly available.
• Abstract（参考訳）: 文書鍵情報抽出(KIE)は,文書画像中の貴重な情報を構造化データに変換する技術であり,産業環境において重要な機能となっている。 しかし、この技術の現在の評価基準は、その産業応用の臨界特性を正確に反映していない。 本稿では,ドキュメントKIEモデルのための新しいアプリケーション中心評価指標であるKIEvalを提案する。 従来のメトリクスとは異なり、KIEvalはドキュメントKIEモデルを評価し、個々の情報(エンティティ)だけでなく、構造化された情報(グループ化)も抽出する。 構造化情報の評価は,産業環境における文書からのグループ情報抽出をより反映した文書KIEモデルの評価を提供する。 産業応用を念頭に設計したKIEvalは,実際に文書KIEモデルを開発・適用するための標準評価基準となると信じている。 コードは公開されます。

関連論文リスト

• A Document-based Knowledge Discovery with Microservices Architecture [0.0]
  我々は、知識発見の文脈における重要な課題を指摘し、データベースアーキテクチャを用いてこれらに対処するためのアプローチを提示した。 提案手法は,キーワード抽出,文書の計算,自然言語の類似性,抽出した情報の言語に依存しない提供に焦点をあてた概念設計へと導いた。
  論文  参考訳（メタデータ） (2024-06-13T09:28:31Z)
• Data Efficient Training of a U-Net Based Architecture for Structured Documents Localization [0.0]
  構造化文書のローカライズのためのエンコーダデコーダアーキテクチャのような新しいU-NetであるSDL-Netを提案する。 本手法では,SDL-Netのエンコーダを,各種文書クラスのサンプルを含む汎用データセット上で事前学習することができる。
  論文  参考訳（メタデータ） (2023-10-02T07:05:19Z)
• Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking [56.80065604034095]
  我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。 異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
  論文  参考訳（メタデータ） (2022-10-19T16:19:37Z)
• REV: Information-Theoretic Evaluation of Free-Text Rationales [83.24985872655738]
  理想的な計量は、入力やラベルに提供されない理性において一意に提供される新しい情報に焦点を当てるべきである、と我々は主張する。 本稿では,REV (Rationale Evaluation with Conditional V-information) と呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2022-10-10T19:31:30Z)
• A Survey on Open Information Extraction from Rule-based Model to Large Language Model [29.017823043117144]
  オープン情報抽出(OpenIE)は、構造化されていないテキストから構造化情報を引き出すための重要なNLPタスクである。 本調査では,2007年から2024年までのOpenIE技術の概要を概説し,時系列的視点を強調した。 この記事では、OpenIEアプローチをルールベース、ニューラル、トレーニング済みの大規模言語モデルに分類し、時系列フレームワーク内でそれぞれについて議論する。
  論文  参考訳（メタデータ） (2022-08-18T08:03:45Z)
• Enhancing Document-level Relation Extraction by Entity Knowledge Injection [33.35887114768141]
  ドキュメントレベルの関係抽出(RE)は、ドキュメント全体を通してエンティティ間の関係を特定することを目的としている。 大規模知識グラフ(KG)は現実世界の事実を豊富に含み、ドキュメントレベルのREに貴重な知識を提供する。 本稿では,現行の文書レベルのREモデルを強化するためのエンティティ知識注入フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-23T06:45:11Z)
• Business Document Information Extraction: Towards Practical Benchmarks [0.0]
  本稿では,文書情報抽出問題,データセット,ベンチマークの状況について概観する。 共通定義に欠けている実践的側面を強調し,鍵情報局所化・抽出(KILE)問題とラインアイテム認識(LIR)問題を定義する。 通常、コンテンツは法的に保護されているか、センシティブであるので、半構造化のビジネス文書にドキュメントIEに関する関連するデータセットとベンチマークが欠如しています。
  論文  参考訳（メタデータ） (2022-06-20T15:23:49Z)
• One-shot Key Information Extraction from Document with Deep Partial Graph Matching [60.48651298832829]
  ドキュメントからキー情報抽出(KIE)は、多くの産業シナリオにおいて効率、生産性、セキュリティを改善する。 KIEタスクのための既存の教師付き学習手法は、多数のラベル付きサンプルを供給し、異なる種類の文書の別々のモデルを学ぶ必要がある。 部分グラフマッチングを用いたワンショットKIEのためのディープエンド・ツー・エンド・トレーニング可能なネットワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T07:45:53Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)
• Re-evaluating Evaluation in Text Summarization [77.4601291738445]
  トップスコアシステム出力を用いたテキスト要約の評価手法を再評価する。 古いデータセットにおける評価指標に関する結論は、現代データセットやシステムに必ずしも当てはまらない。
  論文  参考訳（メタデータ） (2020-10-14T13:58:53Z)
• Towards Question-Answering as an Automatic Metric for Evaluating the Content Quality of a Summary [65.37544133256499]
  質問回答(QA)を用いて要約内容の質を評価する指標を提案する。 提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
  論文  参考訳（メタデータ） (2020-10-01T15:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。