論文の概要: SeedBERT: Recovering Annotator Rating Distributions from an Aggregated Label

• arxiv url: http://arxiv.org/abs/2211.13196v1
• Date: Wed, 23 Nov 2022 18:35:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 14:03:29.365764
• Title: SeedBERT: Recovering Annotator Rating Distributions from an Aggregated Label
• Title（参考訳）: SeedBERT: 集約ラベルからアノテーションのレーティング分布を復元する
• Authors: Aneesha Sampath, Victoria Lin, Louis-Philippe Morency
• Abstract要約: 単一ラベルからアノテータ評価分布を復元するSeedBERTを提案する。 人間の評価は,SeedBERTの注意機構がアノテータの不一致の原因と一致していることを示している。
• 参考スコア（独自算出の注目度）: 43.23903984174963
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many machine learning tasks -- particularly those in affective computing -- are inherently subjective. When asked to classify facial expressions or to rate an individual's attractiveness, humans may disagree with one another, and no single answer may be objectively correct. However, machine learning datasets commonly have just one "ground truth" label for each sample, so models trained on these labels may not perform well on tasks that are subjective in nature. Though allowing models to learn from the individual annotators' ratings may help, most datasets do not provide annotator-specific labels for each sample. To address this issue, we propose SeedBERT, a method for recovering annotator rating distributions from a single label by inducing pre-trained models to attend to different portions of the input. Our human evaluations indicate that SeedBERT's attention mechanism is consistent with human sources of annotator disagreement. Moreover, in our empirical evaluations using large language models, SeedBERT demonstrates substantial gains in performance on downstream subjective tasks compared both to standard deep learning models and to other current models that account explicitly for annotator disagreement.
• Abstract（参考訳）: 多くの機械学習タスク、特に感情的コンピューティングタスクは、本質的に主観的です。 表情の分類や個人の魅力の評価を求めると、人間は互いに意見が一致せず、客観的に正しい答えは得られない。 しかしながら、機械学習データセットは、サンプル毎に単一の"ground truth"ラベルを持つことが多いため、これらのラベルでトレーニングされたモデルは、本質的に主観的なタスクではうまく機能しない可能性がある。 個々のアノテータのレーティングからモデルを学習することは有効であるが、ほとんどのデータセットは各サンプルに対してアノテータ固有のラベルを提供していない。 そこで本研究では,入力の異なる部分に対応するために事前学習したモデルを誘導することにより,単一ラベルからアノテータ評価分布を復元するSeedBERTを提案する。 人間の評価は,SeedBERTの注意機構がアノテータの不一致の原因と一致していることを示している。 さらに,大規模な言語モデルを用いた経験的評価では,標準的なディープラーニングモデルとアノテータの不一致を明示する他のモデルと比較して,下流の主観的タスクにおける性能が著しく向上したことを示す。

関連論文リスト

• Capturing Perspectives of Crowdsourced Annotators in Subjective Learning Tasks [9.110872603799839]
  監督された分類は、人間によって注釈付けされたデータセットに大きく依存する。 毒性分類などの主観的なタスクでは、これらのアノテーションはラッカー間での合意が低くなることが多い。 本研究では、主観的分類タスクのためのtextbfAnnotator Awares for Texts (AART) を提案する。
  論文  参考訳（メタデータ） (2023-11-16T10:18:32Z)
• ACTOR: Active Learning with Annotator-specific Classification Heads to Embrace Human Label Variation [35.10805667891489]
  積極的学習は、アノテーションのコスト削減戦略として、不一致から学ぶという文脈で完全には研究されていない。 アクティブな学習環境では、不確実性推定の観点から、マルチヘッドモデルの方がシングルヘッドモデルよりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-23T14:26:43Z)
• Learn What Is Possible, Then Choose What Is Best: Disentangling One-To-Many Relations in Language Through Text-based Games [3.615981646205045]
  望ましい振る舞いをエミュレートできる言語モデルをトレーニングするアプローチを提案する。 テキストベースのゲームをテストベッドとして使用することで、PASAは個別の潜伏変数を用いて異なる動作範囲をキャプチャする。 その結果,従来の最先端モデルよりも49%の実証的改善が得られた。
  論文  参考訳（メタデータ） (2023-04-14T17:11:26Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• Debiased Pseudo Labeling in Self-Training [77.83549261035277]
  ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。 ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。 疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
  論文  参考訳（メタデータ） (2022-02-15T02:14:33Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• End-to-End Annotator Bias Approximation on Crowdsourced Single-Label Sentiment Analysis [0.4925222726301579]
  感性分析は、多くのアノテータから与えられた主観的なラベルをクラウドソーシングする作業であることが多い。 それぞれのアノテータのアノテーションバイアスがいかにして最先端の手法で正しくモデル化できるかは、まだ完全には分かっていない。 我々の貢献は、正確な神経終末バイアスモデリングと基底真理推定のための説明と改善である。
  論文  参考訳（メタデータ） (2021-11-03T16:20:16Z)
• Towards Good Practices for Efficiently Annotating Large-Scale Image Classification Datasets [90.61266099147053]
  多数の画像の分類ラベルを収集するための効率的なアノテーション戦略を検討する。 人間のラベリング作業を最小化するための修正とベストプラクティスを提案します。 ImageNet100の125kイメージサブセットのシミュレーション実験では、平均で0.35のアノテーションで80%のトップ-1の精度でアノテートできることが示されている。
  論文  参考訳（メタデータ） (2021-04-26T16:29:32Z)
• One-bit Supervision for Image Classification [121.87598671087494]
  1ビットの監視は、不完全なアノテーションから学ぶための新しい設定である。 負ラベル抑圧を既成の半教師付き学習アルゴリズムに組み込んだ多段階学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-09-14T03:06:23Z)
• GPM: A Generic Probabilistic Model to Recover Annotator's Behavior and Ground Truth Labeling [34.48095564497967]
  本稿では,基礎となる真実とアノテーションの振舞いを推測する確率論的グラフィカルアノテーションモデルを提案する。 提案モデルでは,アノテータがラベル付け処理中にタスクに対して厳格に動作したかどうかを識別できる。
  論文  参考訳（メタデータ） (2020-03-01T12:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。