論文の概要: Reading Order Independent Metrics for Information Extraction in Handwritten Documents

• arxiv url: http://arxiv.org/abs/2404.18664v1
• Date: Mon, 29 Apr 2024 12:49:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 13:47:51.945832
• Title: Reading Order Independent Metrics for Information Extraction in Handwritten Documents
• Title（参考訳）: 手書き文書における情報抽出のための独立メトリクスの読み上げ
• Authors: David Villanova-Aparisi, Solène Tarride, Carlos-D. Martínez-Hinarejos, Verónica Romero, Christopher Kermorvant, Moisés Pastor-Gadea,
• Abstract要約: 本稿では,手書き文書における情報抽出評価に適した読解順序に依存しない指標セットを提案し,公開する。 タスクを正しく評価するために、最小限のメトリクスセットと考えるものを推奨するために、メトリクスの振舞いの詳細な分析を行います。
• 参考スコア（独自算出の注目度）: 3.09712167177251
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Information Extraction processes in handwritten documents tend to rely on obtaining an automatic transcription and performing Named Entity Recognition (NER) over such transcription. For this reason, in publicly available datasets, the performance of the systems is usually evaluated with metrics particular to each dataset. Moreover, most of the metrics employed are sensitive to reading order errors. Therefore, they do not reflect the expected final application of the system and introduce biases in more complex documents. In this paper, we propose and publicly release a set of reading order independent metrics tailored to Information Extraction evaluation in handwritten documents. In our experimentation, we perform an in-depth analysis of the behavior of the metrics to recommend what we consider to be the minimal set of metrics to evaluate a task correctly.
• Abstract（参考訳）: 手書き文書における情報抽出プロセスは、自動書き起こしを取得し、そのような書き起こしに対して名前付きエンティティ認識(NER)を実行することに依存する傾向がある。 このため、一般に利用可能なデータセットでは、システムのパフォーマンスは通常、各データセットに特有のメトリクスで評価される。 さらに、採用されている指標のほとんどは、順序誤差の読み取りに敏感である。 したがって、それらはシステムの最終的な適用を反映せず、より複雑な文書にバイアスを導入している。 本稿では,手書き文書における情報抽出評価に適した読解順序に依存しない指標セットを提案し,公開する。 実験では、タスクを正しく評価するための最小限のメトリクスセットと考えるものを推奨するために、メトリクスの振る舞いを詳細に分析する。

関連論文リスト

• The Power of Summary-Source Alignments [62.76959473193149]
  多文書要約(MDS)は難しい課題であり、しばしばサリエンスと冗長性検出のサブタスクに分解される。 参照要約とそのソース文書間の対応する文のアライメントを利用して、トレーニングデータを生成する。 本稿では,よりきめ細かな提案スパンレベルで適用することで,要約ソースアライメントフレームワークを拡張することを提案する。
  論文  参考訳（メタデータ） (2024-06-02T19:35:19Z)
• A Novel Dataset for Non-Destructive Inspection of Handwritten Documents [0.0]
  法医学的手書き検査は、原稿の著者を適切に定義または仮説化するために手書きの文書を調べることを目的としている。 2つのサブセットからなる新しい挑戦的データセットを提案する。第1は古典的なペンと紙で書かれた21の文書で、後者は後にデジタル化され、タブレットなどの一般的なデバイスで直接取得される。 提案したデータセットの予備的な結果は、第1サブセットで90%の分類精度が得られることを示している。
  論文  参考訳（メタデータ） (2024-01-09T09:25:58Z)
• Innovative Methods for Non-Destructive Inspection of Handwritten Documents [0.0]
  本稿では,画像処理と深層学習技術を用いて,本文の本質的な尺度を抽出・解析できるフレームワークを提案する。 比較対象文書の特徴ベクトル間のユークリッド距離を定量化することにより、著者を特定することができる。 実験により,異なる執筆媒体の著者を客観的に決定できる手法が得られた。
  論文  参考訳（メタデータ） (2023-10-17T12:45:04Z)
• LongDocFACTScore: Evaluating the Factuality of Long Document Abstractive Summarisation [28.438103177230477]
  長文要約の事実整合性を評価するための自動測度の有効性を評価する。 本稿では,文書要約データセットの評価に適した新しい評価フレームワークであるLongDocFACTScoreを提案する。
  論文  参考訳（メタデータ） (2023-09-21T19:54:54Z)
• Towards Interpretable and Efficient Automatic Reference-Based Summarization Evaluation [160.07938471250048]
  解釈可能性と効率性は、ニューラル自動メトリクスを採用する上で重要な2つの考慮事項である。 我々は,参照ベース要約評価のための高性能自動メトリクスを開発する。
  論文  参考訳（メタデータ） (2023-03-07T02:49:50Z)
• End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
  HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。 標準メトリクスは、現れる可能性のある不整合を考慮していない。 本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
  論文  参考訳（メタデータ） (2023-01-14T15:43:07Z)
• Re-Examining Human Annotations for Interpretable NLP [80.81532239566992]
  我々は、Interpretable NLPで広く使われている2つのデータセット上で、クラウドソースのウェブサイトを用いて制御実験を行う。 我々は,異なる資格レベルを満たす人材の募集から得られた注釈結果を比較した。 以上の結果から,アノテーションの品質は労働者の資格に高い影響を受けており,労働者は指示によって特定のアノテーションを提供するように指導することができることがわかった。
  論文  参考訳（メタデータ） (2022-04-10T02:27:30Z)
• Towards Reducing Manual Workload in Technology-Assisted Reviews: Estimating Ranking Performance [30.29371206568408]
  研究者が研究にラベルをつけると、関係する文書が無関係のものよりも高いランクの文書をスクリーニングすることができる。 本稿では,体系的レビューの文書ランキングの質について検討する。 SR文書のランキングを広範囲に分析した結果、SRのランキング品質に影響を与える要因として「トピックワイドネス」を仮定した。
  論文  参考訳（メタデータ） (2022-01-14T19:48:45Z)
• Re-evaluating Evaluation in Text Summarization [77.4601291738445]
  トップスコアシステム出力を用いたテキスト要約の評価手法を再評価する。 古いデータセットにおける評価指標に関する結論は、現代データセットやシステムに必ずしも当てはまらない。
  論文  参考訳（メタデータ） (2020-10-14T13:58:53Z)
• Scaling Systematic Literature Reviews with Machine Learning Pipelines [57.82662094602138]
  体系的なレビューは、科学的文書からデータを抽出する。 これらの側面をそれぞれ自動化するパイプラインを構築し、多くの人間時間対システム品質トレードオフを実験します。 人間の専門的アノテーションの2週間だけで、パイプラインシステム全体の驚くほどの精度と一般性が得られることが分かりました。
  論文  参考訳（メタデータ） (2020-10-09T16:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。