論文の概要: Annotation Sensitivity: Training Data Collection Methods Affect Model
Performance
- arxiv url: http://arxiv.org/abs/2311.14212v3
- Date: Mon, 22 Jan 2024 15:05:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 20:04:36.464211
- Title: Annotation Sensitivity: Training Data Collection Methods Affect Model
Performance
- Title(参考訳): アノテーション感性:訓練データ収集手法がモデル性能に与える影響
- Authors: Christoph Kern, Stephanie Eckman, Jacob Beck, Rob Chew, Bolei Ma,
Frauke Kreuter
- Abstract要約: この研究は、アノテーションを作成する際の設計上の選択が、結果として得られるアノテーションに基づいてトレーニングされたモデルにも影響を及ぼすことを示した。
本研究では,アノテータをランダムにアノテータにアノテータを割り当てた5つの実験条件において,ヘイトスピーチのアノテーションと攻撃言語を収集する。
その結果,1)ヘイトスピーチ/感情言語アノテーションの共有,2)モデル性能,3)モデル予測,および4)モデル学習曲線の相違が認められた。
- 参考スコア(独自算出の注目度): 7.066223472133622
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When training data are collected from human annotators, the design of the
annotation instrument, the instructions given to annotators, the
characteristics of the annotators, and their interactions can impact training
data. This study demonstrates that design choices made when creating an
annotation instrument also impact the models trained on the resulting
annotations. We introduce the term annotation sensitivity to refer to the
impact of annotation data collection methods on the annotations themselves and
on downstream model performance and predictions. We collect annotations of hate
speech and offensive language in five experimental conditions of an annotation
instrument, randomly assigning annotators to conditions. We then fine-tune BERT
models on each of the five resulting datasets and evaluate model performance on
a holdout portion of each condition. We find considerable differences between
the conditions for 1) the share of hate speech/offensive language annotations,
2) model performance, 3) model predictions, and 4) model learning curves. Our
results emphasize the crucial role played by the annotation instrument which
has received little attention in the machine learning literature. We call for
additional research into how and why the instrument impacts the annotations to
inform the development of best practices in instrument design.
- Abstract(参考訳): ヒューマンアノテータからトレーニングデータを収集する場合、アノテーション機器の設計、アノテータに与えられる指示、アノテータの特性、それらの相互作用はトレーニングデータに影響を与える可能性がある。
本研究は,アノテーション楽器作成時の設計選択が,結果のアノテーションに基づいてトレーニングされたモデルにも影響を与えることを実証する。
アノテーションの感度という用語を導入し、アノテーションデータ収集メソッドがアノテーション自身と下流モデルのパフォーマンスと予測に与える影響について紹介する。
アノテーション装置の5つの実験条件においてヘイトスピーチと攻撃的言語のアノテーションを収集し,アノテータを条件にランダムに割り当てる。
次に、得られた5つのデータセットのそれぞれでBERTモデルを微調整し、各条件のホールドアウト部分でモデル性能を評価する。
条件によってかなり異なることが分かりました
1)ヘイトスピーチ/違反言語アノテーションの共有
2)モデル性能
3)モデル予測,及び
4)モデル学習曲線。
本研究は,機械学習の文献にはほとんど注目されていない楽器が果たす重要な役割を強調した。
楽器設計におけるベストプラクティスの発展を知らせるために,アノテーションにどのような影響を与えるのか,またその理由について,さらなる研究を求めている。
関連論文リスト
- Simultaneous Gesture Classification and Localization with an Automatic
Gesture Annotation Model [10.898703544071934]
本稿では,ジェスチャクラスを自動的にアノテーション化し,その時間範囲を識別するアノテーションモデルを提案する。
本研究は,ジェスチャー分類精度(3-4%改善)と局所化精度(71-75%改善)の両面で,アノテーションモデル設計がベースラインを超えることを示す。
論文 参考訳(メタデータ) (2024-01-20T07:11:03Z) - Unveiling the Multi-Annotation Process: Examining the Influence of
Annotation Quantity and Instance Difficulty on Model Performance [1.7343894615131372]
データセットがインスタンス毎にひとつのアノテーションから複数のアノテーションに拡張された場合、パフォーマンススコアがどのように変化するかを示す。
アノテーション予算の異なるデータセットを生成するための,新しいマルチアノテーションシミュレーションプロセスを提案する。
論文 参考訳(メタデータ) (2023-10-23T05:12:41Z) - Interpretations Cannot Be Trusted: Stealthy and Effective Adversarial
Perturbations against Interpretable Deep Learning [16.13790238416691]
この研究はAdvEdgeとAdvEdge$+$という2つの攻撃を導入し、ターゲットのディープラーニングモデルと組み合わせた解釈モデルの両方を欺いた。
我々の分析は、ディープラーニングモデルとそのインタプリタを騙すという観点から、我々の攻撃の有効性を示している。
論文 参考訳(メタデータ) (2022-11-29T04:45:10Z) - Phoneme Segmentation Using Self-Supervised Speech Models [13.956691231452336]
音素セグメンテーションのタスクに伝達学習を適用し、タスクの自己教師型事前学習において学習した表現の有用性を実証する。
我々のモデルは、事前学習で学んだ特徴を操作する戦略的に配置された畳み込みによるトランスフォーマースタイルのエンコーダを拡張している。
論文 参考訳(メタデータ) (2022-11-02T19:57:31Z) - Annotation Error Detection: Analyzing the Past and Present for a More
Coherent Future [63.99570204416711]
我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。
アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。
私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
論文 参考訳(メタデータ) (2022-06-05T22:31:45Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳(メタデータ) (2022-05-21T19:49:04Z) - Annotation Curricula to Implicitly Train Non-Expert Annotators [56.67768938052715]
自発的な研究は、しばしば、アノテータがタスク、そのアノテーションスキーム、およびデータドメインに精通することを要求する。
これは最初は圧倒的であり、精神的に課税され、結果として生じるアノテーションにエラーを誘導する。
暗黙的にアノテータを訓練する新しい手法であるアノテーションキュリキュラを提案する。
論文 参考訳(メタデータ) (2021-06-04T09:48:28Z) - Explaining Black Box Predictions and Unveiling Data Artifacts through
Influence Functions [55.660255727031725]
影響関数は、影響力のあるトレーニング例を特定することによって、モデルの判断を説明する。
本稿では,代表課題における影響関数と共通単語順応法の比較を行う。
我々は,学習データ中の成果物を明らかにすることができる影響関数に基づく新しい尺度を開発した。
論文 参考訳(メタデータ) (2020-05-14T00:45:23Z) - Selecting Informative Contexts Improves Language Model Finetuning [66.26521454263343]
本稿では,情報ゲインフィルタと呼ぶ汎用的な微調整手法を提案する。
微調整中、二次学習者は情報的例を選択し、非情報的例をスキップする。
提案手法は,データセット,微調整タスク,言語モデルアーキテクチャ間で一貫した改善がなされていることを示す。
論文 参考訳(メタデータ) (2020-05-01T02:01:18Z) - Active Learning for Coreference Resolution using Discrete Annotation [76.36423696634584]
我々は、コア参照解決におけるアクティブラーニングのためのペアワイズアノテーションを改善した。
提案された参照ペアがコアフェレントでないと判断された場合、アノテータに参照アンテセントを識別するよう依頼する。
既存のベンチマークコアベンチマークデータセットを用いた実験では、この追加質問からの信号が人間のアノテーション時間当たりの大幅なパフォーマンス向上につながることが示された。
論文 参考訳(メタデータ) (2020-04-28T17:17:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。