論文の概要: tieval: An Evaluation Framework for Temporal Information Extraction Systems

• arxiv url: http://arxiv.org/abs/2301.04643v1
• Date: Wed, 11 Jan 2023 18:55:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-12 14:41:29.308646
• Title: tieval: An Evaluation Framework for Temporal Information Extraction Systems
• Title（参考訳）: tieval: 時間情報抽出システムのための評価フレームワーク
• Authors: Hugo Sousa, Al\'ipio Jorge, Ricardo Campos
• Abstract要約: 過去20年間、時間的情報抽出は大きな関心を集めてきた。 大量のコーパスにアクセスすることは、TIEシステムのベンチマークに関して難しい。 tievalはPythonライブラリで、異なるコーパスをインポートするための簡潔なインターフェースを提供し、システム評価を容易にする。
• 参考スコア（独自算出の注目度）: 1.1666545277096307
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Temporal information extraction (TIE) has attracted a great deal of interest over the last two decades, leading to the development of a significant number of datasets. Despite its benefits, having access to a large volume of corpora makes it difficult when it comes to benchmark TIE systems. On the one hand, different datasets have different annotation schemes, thus hindering the comparison between competitors across different corpora. On the other hand, the fact that each corpus is commonly disseminated in a different format requires a considerable engineering effort for a researcher/practitioner to develop parsers for all of them. This constraint forces researchers to select a limited amount of datasets to evaluate their systems which consequently limits the comparability of the systems. Yet another obstacle that hinders the comparability of the TIE systems is the evaluation metric employed. While most research works adopt traditional metrics such as precision, recall, and $F_1$, a few others prefer temporal awareness -- a metric tailored to be more comprehensive on the evaluation of temporal systems. Although the reason for the absence of temporal awareness in the evaluation of most systems is not clear, one of the factors that certainly weights this decision is the necessity to implement the temporal closure algorithm in order to compute temporal awareness, which is not straightforward to implement neither is currently easily available. All in all, these problems have limited the fair comparison between approaches and consequently, the development of temporal extraction systems. To mitigate these problems, we have developed tieval, a Python library that provides a concise interface for importing different corpora and facilitates system evaluation. In this paper, we present the first public release of tieval and highlight its most relevant features.
• Abstract（参考訳）: 時間的情報抽出(tie)は過去20年間で大きな関心を集め、膨大な数のデータセットの開発につながった。 その利点にもかかわらず、大量のコーパスにアクセスすることは、TIEシステムのベンチマークに関して難しい。 一方、異なるデータセットは異なるアノテーションスキームを持つため、異なるコーパス間の競合の比較が妨げられる。 一方、各コーパスが一般的に異なるフォーマットで散布されているという事実は、研究者や専門家がすべてのパーサーを開発するのにかなりのエンジニアリング努力を必要とする。 この制約により、研究者は限られた量のデータセットを選択してシステムを評価することを余儀なくされ、結果としてシステムの互換性が制限される。 しかし、TIEシステムの互換性を妨げるもう1つの障害は、採用される評価基準である。 多くの研究は、精度、リコール、および$f_1$のような伝統的な指標を採用するが、他のいくつかの研究は、時間的認識(temporal awareness)を好んでいる。 ほとんどのシステムの評価において時間的認識が欠如している理由は明らかではないが、この決定に確実に重きを置く要因の1つは、時間的認識を計算するために時間的閉包アルゴリズムを実装する必要があることである。 全体として、これらの問題はアプローチ間の公正な比較を制限しており、その結果、時間的抽出システムの開発に繋がる。 これらの問題を緩和するために,異なるコーパスをインポートするための簡潔なインターフェースを提供し,システム評価を容易にするpythonライブラリであるtievalを開発した。 本稿では,tievalの最初の公開リリースを行い,その最も関連する機能を強調する。

関連論文リスト

• TSI-Bench: Benchmarking Time Series Imputation [52.27004336123575]
  TSI-Benchは、ディープラーニング技術を利用した時系列計算のための総合ベンチマークスイートである。 TSI-Benchパイプラインは、実験的な設定を標準化し、計算アルゴリズムの公平な評価を可能にする。 TSI-Benchは、計算目的のために時系列予測アルゴリズムを調整するための体系的なパラダイムを革新的に提供する。
  論文  参考訳（メタデータ） (2024-06-18T16:07:33Z)
• A Comprehensive Library for Benchmarking Multi-class Visual Anomaly Detection [52.228708947607636]
  本稿では,新しい手法のモジュラーフレームワークであるADerを包括的視覚異常検出ベンチマークとして紹介する。 このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。 我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
  論文  参考訳（メタデータ） (2024-06-05T13:40:07Z)
• Deconstructing Self-Supervised Monocular Reconstruction: The Design Decisions that Matter [63.5550818034739]
  本稿では,自己教師付き単分子深度推定への最先端の貢献を評価するための枠組みを提案する。 事前トレーニング、バックボーン、アーキテクチャ設計の選択、損失関数が含まれる。 我々は16の最先端コントリビューションを再実装し、検証し、再評価し、新しいデータセットを導入します。
  論文  参考訳（メタデータ） (2022-08-02T14:38:53Z)
• A novel evaluation methodology for supervised Feature Ranking algorithms [0.0]
  本稿では,特徴ランクの新たな評価手法を提案する。 合成データセットを使用することで、特徴重要度スコアを事前に知ることができ、より体系的な評価が可能になる。 新しい方法論を使った大規模な実験を容易にするため、fsevalと呼ばれるベンチマークフレームワークがPythonで構築された。
  論文  参考訳（メタデータ） (2022-07-09T12:00:36Z)
• Are We There Yet? A Decision Framework for Replacing Term Based Retrieval with Dense Retrieval Systems [35.77217529138364]
  いくつかの高密度検索(DR)モデルは、項ベース検索と競合する性能を示した。 DRはクエリとドキュメントを高密度なベクトル空間に投影し、(近似した)近接探索によって結果を検索する。 将来DRがユビキタスになるかどうかを予測することは不可能だが、この方法の1つは意思決定プロセスの繰り返し適用を通じて可能である。
  論文  参考訳（メタデータ） (2022-06-26T23:16:05Z)
• SAITS: Self-Attention-based Imputation for Time Series [6.321652307514677]
  SAITSは時系列における値計算の欠落に対する自己注意機構に基づく新しい手法である。 斜めにマスキングされた2つの自己注意ブロックの重み付けされた組み合わせから、欠落した値を学ぶ。 テストの結果、SAITSは時系列計算タスクにおける最先端の手法を効率よく上回ることが示された。
  論文  参考訳（メタデータ） (2022-02-17T08:40:42Z)
• What are the best systems? New perspectives on NLP Benchmarking [10.27421161397197]
  そこで本研究では,各タスクのパフォーマンスに基づいて,システムにランク付けする新しい手法を提案する。 社会的選択理論によって動機付けられ、各タスクによって誘導されるランクを集約することで最終システム順序付けが得られる。 本手法は, 平均集約法とは異なる, 最先端システム上での結論を導出することを示す。
  論文  参考訳（メタデータ） (2022-02-08T11:44:20Z)
• Benchmarking Quality-Dependent and Cost-Sensitive Score-Level Multimodal Biometric Fusion Algorithms [58.156733807470395]
  本稿では,BioSecure DS2 (Access Control) 評価キャンペーンの枠組み内で実施したベンチマーク研究について報告する。 キャンペーンは、約500人の中規模施設における物理的アクセス制御の適用を目標とした。 我々の知る限りでは、これは品質ベースのマルチモーダル融合アルゴリズムをベンチマークする最初の試みである。
  論文  参考訳（メタデータ） (2021-11-17T13:39:48Z)
• Generalizing Cross-Document Event Coreference Resolution Across Multiple Corpora [63.429307282665704]
  クロスドキュメントイベントコア参照解決(CDCR)は、文書の集合全体にわたってイベントの特定とクラスタ化を行う必要があるNLPタスクである。 CDCRは、下流のマルチドキュメントアプリケーションに利益をもたらすことを目標としているが、CDCRの適用による改善はまだ示されていない。 これまでのCDCRシステムは,1つのコーパスでのみ開発,トレーニング,テストが行われた。
  論文  参考訳（メタデータ） (2020-11-24T17:45:03Z)
• Measuring the Complexity of Domains Used to Evaluate AI Systems [0.48951183832371004]
  本稿では,様々な領域間の複雑性を測定するための理論を提案する。 この測定の応用は、様々な状況におけるツールとしての有効性を示すために示される。 本稿では,AIシステムのインテリジェンスを計算するために,このような複雑性メトリクスの今後の利用を提案する。
  論文  参考訳（メタデータ） (2020-09-18T21:53:07Z)
• Bias in Multimodal AI: Testbed for Fair Automatic Recruitment [73.85525896663371]
  異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。 我々は、性別や人種の偏りを意識的に評価したマルチモーダルな合成プロファイルを用いて、自動求人アルゴリズムを訓練する。 我々の方法論と結果は、一般により公平なAIベースのツール、特により公平な自動採用システムを生成する方法を示している。
  論文  参考訳（メタデータ） (2020-04-15T15:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。