論文の概要: Addressing Barriers to Reproducible Named Entity Recognition Evaluation

• arxiv url: http://arxiv.org/abs/2107.14154v1
• Date: Thu, 29 Jul 2021 16:26:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-30 13:21:12.249779
• Title: Addressing Barriers to Reproducible Named Entity Recognition Evaluation
• Title（参考訳）: 再現可能な名前付きエンティティ認識評価の障壁への対処
• Authors: Chester Palen-Michel, Nolan Holley, Constantine Lignos
• Abstract要約: 名前付きエンティティ認識タスクの再現性評価のためのガイドラインを提案する。 評価手順の未報告の違いが,目立った大きさと統計的に有意なスコアの変化をもたらすことを実証した。 SeqScoreは、レプリケーションの失敗の原因となる多くの問題に対処するオープンソースのツールキットです。
• 参考スコア（独自算出の注目度）: 0.9453554184019108
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: To address what we believe is a looming crisis of unreproducible evaluation for named entity recognition tasks, we present guidelines for reproducible evaluation. The guidelines we propose are extremely simple, focusing on transparency regarding how chunks are encoded and scored, but very few papers currently being published fully comply with them. We demonstrate that despite the apparent simplicity of NER evaluation, unreported differences in the scoring procedure can result in changes to scores that are both of noticeable magnitude and are statistically significant. We provide SeqScore, an open source toolkit that addresses many of the issues that cause replication failures and makes following our guidelines easy.
• Abstract（参考訳）: 名前付きエンティティ認識タスクに対する再現不能な評価の危機であると考えるものに対処するため、再現可能な評価のためのガイドラインを提案する。 私たちが提案するガイドラインは非常に単純で、チャンクのエンコードとスコア付けに関する透明性を重視しています。 NER評価の単純さにもかかわらず、評価方法の未報告の違いは、目立った大きさで統計的に有意なスコアの変化をもたらすことを示した。 SeqScoreはオープンソースのツールキットで、レプリケーションの失敗の原因となる多くの問題に対処し、ガイドラインに従うのを簡単にします。

関連論文リスト

• Revising the Problem of Partial Labels from the Perspective of CNNs' Robustness [6.46250754192468]
  擬似ラベル手法と設計された損失関数を用いた軽量な部分ラベル解を提案する。 提案手法と既存手法の両方をD-Scoreを用いて解析し,精度を向上しながら頑健性を向上できるかどうかを判定する。
  論文  参考訳（メタデータ） (2024-07-24T20:39:17Z)
• Re-Examine Distantly Supervised NER: A New Benchmark and a Simple Approach [15.87963432758696]
  我々は,QTLという実世界のベンチマークデータセットを用いて,現在のDS-NER手法の有効性を批判的に評価する。 ラベルノイズの一般的な問題に対処するため,カリキュラムベースのポジティブ・アンラベル学習CuPULを提案する。 実験の結果,CuPULはノイズラベルの影響を著しく低減し,既存手法よりも優れることがわかった。
  論文  参考訳（メタデータ） (2024-02-22T20:07:02Z)
• Drawing the Same Bounding Box Twice? Coping Noisy Annotations in Object Detection with Repeated Labels [6.872072177648135]
  そこで本研究では,基礎的真理推定手法に適合する新しい局所化アルゴリズムを提案する。 また,本アルゴリズムは,TexBiGデータセット上でのトレーニングにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-18T13:08:44Z)
• Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
  ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。 実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。 我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
  論文  参考訳（メタデータ） (2023-08-28T03:03:03Z)
• Neighbour Consistency Guided Pseudo-Label Refinement for Unsupervised Person Re-Identification [80.98291772215154]
  教師なしの人物再識別(ReID)は、アノテーションを使わずに人物検索のための識別的アイデンティティの特徴を学習することを目的としている。 近年の進歩はクラスタリングに基づく擬似ラベルを活用することで実現されている。 本稿では, Pseudo Label Refinement フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-30T09:39:57Z)
• On Quantitative Evaluations of Counterfactuals [88.42660013773647]
  本稿では、分析と実験を通じて、視覚的対実例の評価に関する研究を集約する。 ほとんどのメトリクスは、十分な単純なデータセットを意図して振る舞うが、複雑さが増加すると、良い結果と悪い結果の違いを判断できないものもいる。 私たちはラベル変動スコアとOracleスコアという2つの新しい指標を提案しています。
  論文  参考訳（メタデータ） (2021-10-30T05:00:36Z)
• Evaluating the Faithfulness of Importance Measures in NLP by Recursively Masking Allegedly Important Tokens and Retraining [6.4191222580895495]
  ROARと呼ばれるコンピュータビジョンから最近提案された忠実度ベンチマークを適応し、改善する。 我々は、一般的なNLP重要度尺度、すなわち注意、勾配、統合勾配にROARを適用して適用する。 本稿では,論文間の結果の比較を容易にするスカラー忠実度尺度を提案する。
  論文  参考訳（メタデータ） (2021-10-15T23:59:42Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)
• Improving Face Recognition by Clustering Unlabeled Faces in the Wild [77.48677160252198]
  極値理論に基づく新しいアイデンティティ分離法を提案する。 重なり合うラベルノイズによる問題を大幅に低減する。 制御された設定と実際の設定の両方の実験は、我々のメソッドの一貫性のある改善を示している。
  論文  参考訳（メタデータ） (2020-07-14T12:26:50Z)
• Uncertainty-aware Score Distribution Learning for Action Quality Assessment [91.05846506274881]
  行動品質評価(AQA)のための不確実性認識スコア分布学習(USDL)手法を提案する。 具体的には、異なる評価スコアの確率を記述したスコア分布に関連する事例として、アクションを考察する。 微粒なスコアラベルが利用できる状況下では、多パス不確実性を考慮したスコア分布学習法(MUSDL)を考案し、スコアの不整合成分を探索する。
  論文  参考訳（メタデータ） (2020-06-13T15:41:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。