論文の概要: Annotation Error Detection: Analyzing the Past and Present for a More Coherent Future

• arxiv url: http://arxiv.org/abs/2206.02280v1
• Date: Sun, 5 Jun 2022 22:31:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 16:30:49.416357
• Title: Annotation Error Detection: Analyzing the Past and Present for a More Coherent Future
• Title（参考訳）: アノテーションエラー検出:過去と現在を解析してよりコヒーレントな未来へ
• Authors: Jan-Christoph Klie, Bonnie Webber, Iryna Gurevych
• Abstract要約: 我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。 アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。 私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
• 参考スコア（独自算出の注目度）: 63.99570204416711
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Annotated data is an essential ingredient in natural language processing for training and evaluating machine learning models. It is therefore very desirable for the annotations to be of high quality. Recent work, however, has shown that several popular datasets contain a surprising amount of annotation errors or inconsistencies. To alleviate this issue, many methods for annotation error detection have been devised over the years. While researchers show that their approaches work well on their newly introduced datasets, they rarely compare their methods to previous work or on the same datasets. This raises strong concerns on methods' general performance and makes it difficult to asses their strengths and weaknesses. We therefore reimplement 18 methods for detecting potential annotation errors and evaluate them on 9 English datasets for text classification as well as token and span labeling. In addition, we define a uniform evaluation setup including a new formalization of the annotation error detection task, evaluation protocol and general best practices. To facilitate future research and reproducibility, we release our datasets and implementations in an easy-to-use and open source software package.
• Abstract（参考訳）: アノテーション付きデータは、機械学習モデルのトレーニングと評価のための自然言語処理において重要な要素である。 したがって、アノテーションが高品質であることは非常に望ましい。 しかし最近の研究は、いくつかの一般的なデータセットが驚くほどの量のアノテーションエラーや矛盾を含んでいることを示している。 この問題を軽減するため,長年にわたり,アノテーション誤り検出手法が数多く考案されてきた。 研究者たちは、彼らのアプローチが新しく導入されたデータセットでうまく機能することを示したが、彼らのメソッドを以前の作業や同じデータセットと比較することはめったにない。 これにより、メソッドの一般的なパフォーマンスに対する強い関心が生まれ、その強みと弱みを突き止めるのが難しくなる。 そこで,アノテーションの潜在的な誤りを検出するための18の手法を再実装し,トークンやスパンラベリングと同様にテキスト分類のための9つの英語データセットで評価する。 さらに,アノテーション誤り検出タスク,評価プロトコル,一般的なベストプラクティスの新しい形式化を含む,統一的な評価設定を定義する。 今後の研究と再現性を促進するため,我々はデータセットと実装を,使いやすいオープンソースソフトウェアパッケージとしてリリースする。

関連論文リスト

• Less for More: Enhancing Preference Learning in Generative Language Models with Automated Self-Curation of Training Corpora [4.008122785948581]
  言語における曖昧さは、より強化された言語モデルを開発する上での課題である。 本稿では,これらのデータセットを直接トレーニングしたプロキシモデルを活用することで,アノテーション付きデータセットを前処理するセルフキュレーション手法を提案する。 提案手法は,データセット内の曖昧なアノテーションを自動的に検出し,削除することにより,嗜好学習を強化する。
  論文  参考訳（メタデータ） (2024-08-23T02:27:14Z)
• GPTs Are Multilingual Annotators for Sequence Generation Tasks [11.59128394819439]
  本研究では,大規模言語モデルを用いた自律アノテーション手法を提案する。 提案手法はコスト効率だけでなく,低リソース言語アノテーションにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-08T09:44:02Z)
• Capturing Perspectives of Crowdsourced Annotators in Subjective Learning Tasks [9.110872603799839]
  監督された分類は、人間によって注釈付けされたデータセットに大きく依存する。 毒性分類などの主観的なタスクでは、これらのアノテーションはラッカー間での合意が低くなることが多い。 本研究では、主観的分類タスクのためのtextbfAnnotator Awares for Texts (AART) を提案する。
  論文  参考訳（メタデータ） (2023-11-16T10:18:32Z)
• Deep Active Learning with Noisy Oracle in Object Detection [5.5165579223151795]
  ディープオブジェクト検出のためのラベルレビューモジュールを含む複合能動学習フレームワークを提案する。 アクティブなデータセットで部分的にノイズの多いアノテーションを修正するためにアノテーションの予算の一部を利用することで、モデルの性能が早期に向上することを示します。 本実験では,同一のアノテーション予算でラベルレビューを組み込むことで,最大4.5mAPポイントのオブジェクト検出性能の向上を実現した。
  論文  参考訳（メタデータ） (2023-09-30T13:28:35Z)
• An Embarrassingly Simple Approach to Semi-Supervised Few-Shot Learning [58.59343434538218]
  間接学習の観点から、ラベルなしデータの正負の擬似ラベルを正確に予測するための、単純だが非常に効果的な手法を提案する。 私たちのアプローチは、オフザシェルフ操作のみを使用することで、ほんの数行のコードで実装できます。
  論文  参考訳（メタデータ） (2022-09-28T02:11:34Z)
• Assisted Text Annotation Using Active Learning to Achieve High Quality with Little Effort [9.379650501033465]
  研究者は、手動の注釈だけで、大規模で高品質な注釈付きデータセットを作成できるツールを提案する。 我々は、アクティブラーニング(AL)アプローチと事前訓練された言語モデルを組み合わせて、アノテーションカテゴリを半自動で識別する。 予備的な結果から,ALを用いることで,複雑なフレームや微妙なフレームを正しく分類するアノテーションの数が大幅に削減されることがわかった。
  論文  参考訳（メタデータ） (2021-12-15T13:14:58Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• Towards Good Practices for Efficiently Annotating Large-Scale Image Classification Datasets [90.61266099147053]
  多数の画像の分類ラベルを収集するための効率的なアノテーション戦略を検討する。 人間のラベリング作業を最小化するための修正とベストプラクティスを提案します。 ImageNet100の125kイメージサブセットのシミュレーション実験では、平均で0.35のアノテーションで80%のトップ-1の精度でアノテートできることが示されている。
  論文  参考訳（メタデータ） (2021-04-26T16:29:32Z)
• Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
  複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。 人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
  論文  参考訳（メタデータ） (2021-04-17T21:34:10Z)
• Active Learning for Coreference Resolution using Discrete Annotation [76.36423696634584]
  我々は、コア参照解決におけるアクティブラーニングのためのペアワイズアノテーションを改善した。 提案された参照ペアがコアフェレントでないと判断された場合、アノテータに参照アンテセントを識別するよう依頼する。 既存のベンチマークコアベンチマークデータセットを用いた実験では、この追加質問からの信号が人間のアノテーション時間当たりの大幅なパフォーマンス向上につながることが示された。
  論文  参考訳（メタデータ） (2020-04-28T17:17:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。