論文の概要: Beyond the Numbers: Transparency in Relation Extraction Benchmark Creation and Leaderboards

• arxiv url: http://arxiv.org/abs/2411.05224v1
• Date: Thu, 07 Nov 2024 22:36:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:54:50.415006
• Title: Beyond the Numbers: Transparency in Relation Extraction Benchmark Creation and Leaderboards
• Title（参考訳）: 数字を超えて: ベンチマーク作成とリーダボードの関係性の透明性
• Authors: Varvara Arzt, Allan Hanbury,
• Abstract要約: 本稿では,NLPにおけるベンチマーク作成の透明性と,NLPの進捗測定におけるリーダボードの利用について検討する。 既存の関係抽出ベンチマークは、ドキュメントが不十分で重要な詳細が欠如していることが多い。 議論の中心はREベンチマークとリーダボードの透明性ですが、議論する観察は他のNLPタスクにも広く適用できます。
• 参考スコア（独自算出の注目度）: 5.632231145349045
• License:
• Abstract: This paper investigates the transparency in the creation of benchmarks and the use of leaderboards for measuring progress in NLP, with a focus on the relation extraction (RE) task. Existing RE benchmarks often suffer from insufficient documentation, lacking crucial details such as data sources, inter-annotator agreement, the algorithms used for the selection of instances for datasets, and information on potential biases like dataset imbalance. Progress in RE is frequently measured by leaderboards that rank systems based on evaluation methods, typically limited to aggregate metrics like F1-score. However, the absence of detailed performance analysis beyond these metrics can obscure the true generalisation capabilities of models. Our analysis reveals that widely used RE benchmarks, such as TACRED and NYT, tend to be highly imbalanced and contain noisy labels. Moreover, the lack of class-based performance metrics fails to accurately reflect model performance across datasets with a large number of relation types. These limitations should be carefully considered when reporting progress in RE. While our discussion centers on the transparency of RE benchmarks and leaderboards, the observations we discuss are broadly applicable to other NLP tasks as well. Rather than undermining the significance and value of existing RE benchmarks and the development of new models, this paper advocates for improved documentation and more rigorous evaluation to advance the field.
• Abstract（参考訳）: 本稿では,NLPの進捗測定におけるベンチマーク作成の透明性とリーダボードの利用について,関係抽出(RE)タスクに着目して検討する。 既存のREベンチマークは、データソース、アノテーション間の合意、データセットのインスタンスの選択に使用されるアルゴリズム、データセットの不均衡のような潜在的なバイアスに関する情報といった重要な詳細を欠いた、不十分なドキュメントに悩まされることが多い。 REの進歩は、F1スコアのような集計基準に制限される評価手法に基づいてシステムをランク付けするリーダーボードによってしばしば測定される。 しかし、これらの指標以外の詳細な性能解析がないことは、モデルの真の一般化能力を曖昧にする可能性がある。 我々の分析によると、TACREDやNYTのような広く使われているREベンチマークは、非常に不均衡であり、ノイズの多いラベルを含んでいる傾向にある。 さらに、クラスベースのパフォーマンス指標の欠如は、大量の関係型を持つデータセット全体のモデルパフォーマンスを正確に反映することができない。 これらの制限は、REで進捗を報告する際に慎重に考慮する必要がある。 議論の中心はREベンチマークとリーダボードの透明性ですが、議論する観察は他のNLPタスクにも広く適用できます。 本稿では、既存のREベンチマークの意義と価値を損なうことや、新しいモデルの開発を損なうのではなく、ドキュメントの改善と、フィールドを前進させるための厳密な評価を提唱する。

関連論文リスト

• Benchmark Inflation: Revealing LLM Performance Gaps Using Retro-Holdouts [0.6282171844772422]
  多くのLarge Language Models(LLM)のトレーニングデータは、テストデータによって汚染される。 公開ベンチマークスコアは必ずしもモデルプロパティを正確に評価するとは限らない。
  論文  参考訳（メタデータ） (2024-10-11T20:46:56Z)
• Measuring Orthogonality in Representations of Generative Models [81.13466637365553]
  教師なしの表現学習において、モデルは高次元データから低次元の学習表現に不可欠な特徴を蒸留することを目的としている。 独立した生成過程の切り離しは、長い間、高品質な表現を生み出してきた。 我々は、IWO(Importance-Weighted Orthogonality)とIWR(Importance-Weighted Rank)の2つの新しい指標を提案する。
  論文  参考訳（メタデータ） (2024-07-04T08:21:54Z)
• OCDB: Revisiting Causal Discovery with a Comprehensive Benchmark and Evaluation Framework [21.87740178652843]
  因果発見は透明性と信頼性を改善するための有望なアプローチを提供する。 本稿では,因果構造と因果効果の違いを評価するための指標を用いたフレキシブルな評価フレームワークを提案する。 実データに基づくOpen Causal Discovery Benchmark (OCDB)を導入し、公正な比較を促進し、アルゴリズムの最適化を促進する。
  論文  参考訳（メタデータ） (2024-06-07T03:09:22Z)
• Benchmarking Benchmark Leakage in Large Language Models [24.015208839742343]
  本稿では,モデル予測精度をベンチマークで評価する2つの単純かつスケーラブルな指標であるPerplexityとN-gramの精度を利用した検出パイプラインを提案する。 テストセットの誤用さえも、トレーニングのかなりの例を明らかにし、潜在的に不公平な比較を行う。 ベンチマーク利用の明確なドキュメンテーションを促進するために,ベンチマーク透明性カードを提案する。
  論文  参考訳（メタデータ） (2024-04-29T16:05:36Z)
• Evaluating Retrieval Quality in Retrieval-Augmented Generation [21.115495457454365]
  従来のエンドツーエンド評価手法は計算コストが高い。 本稿では,検索リストの各文書をRAGシステム内の大規模言語モデルで個別に利用するeRAGを提案する。 eRAGは、ランタイムを改善し、エンドツーエンド評価の最大50倍のGPUメモリを消費する、大きな計算上のアドバンテージを提供する。
  論文  参考訳（メタデータ） (2024-04-21T21:22:28Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• AUPIMO: Redefining Visual Anomaly Detection Benchmarks with High Speed and Low Tolerance [0.562479170374811]
  Per-IMage Overlap(PIMO)は、AUROCとAUPROの欠点に対処する新しいメトリクスである。 画像ごとのリコールの測定は、計算を単純化し、ノイズの多いアノテーションに対してより堅牢である。 実験の結果,PIMOは実用的優位性があり,性能の見識に乏しいことがわかった。
  論文  参考訳（メタデータ） (2024-01-03T21:24:44Z)
• Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
  大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。 モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。 評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
  論文  参考訳（メタデータ） (2023-11-03T14:59:54Z)
• Towards Multiple References Era -- Addressing Data Leakage and Limited Reference Diversity in NLG Evaluation [55.92852268168816]
  BLEUやchrFのようなN-gramマッチングに基づく評価指標は、自然言語生成(NLG)タスクで広く利用されている。 近年の研究では、これらのマッチングベースの指標と人間の評価との間には弱い相関関係が示されている。 本稿では,これらの指標と人的評価の整合性を高めるために,テキストマルチプル参照を利用することを提案する。
  論文  参考訳（メタデータ） (2023-08-06T14:49:26Z)
• Does Recommend-Revise Produce Reliable Annotations? An Analysis on Missing Instances in DocRED [60.39125850987604]
  テキスト修正方式は, 偽陰性サンプルと, 人気エンティティや関係性に対する明らかな偏見をもたらすことを示す。 より信頼性の高いドキュメントREモデルのテストセットとして機能するように、relabeledデータセットがリリースされている。
  論文  参考訳（メタデータ） (2022-04-17T11:29:01Z)
• Open-Set Recognition: A Good Closed-Set Classifier is All You Need [146.6814176602689]
  分類器が「ゼロ・オブ・ア・ア・ア・ベ」決定を行う能力は、閉集合クラスにおける精度と高い相関関係があることが示される。 この相関を利用して、閉セット精度を向上させることにより、クロスエントロピーOSR'ベースライン'の性能を向上させる。 また、セマンティックノベルティを検出するタスクをより尊重する新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2021-10-12T17:58:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。