論文の概要: Accurate and Data-Efficient Toxicity Prediction when Annotators Disagree

• arxiv url: http://arxiv.org/abs/2410.12217v1
• Date: Wed, 16 Oct 2024 04:26:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:42:52.634490
• Title: Accurate and Data-Efficient Toxicity Prediction when Annotators Disagree
• Title（参考訳）: アノテーションが診断されたときの精度とデータ効率のよい毒性予測
• Authors: Harbani Jaggi, Kashyap Murali, Eve Fleisig, Erdem Bıyık,
• Abstract要約: アノテータが同意しない場合、個々のアノテータによって与えられるラベルを予測すれば、従来のラベル集約によって見落とされたニュアンスをキャプチャすることができる。 テキストの毒性に基づいて,個々のアノテータ評価を予測するための3つのアプローチを提案する。 評価予測のための人口統計情報の有用性について検討する。
• 参考スコア（独自算出の注目度）: 1.3749490831384268
• License:
• Abstract: When annotators disagree, predicting the labels given by individual annotators can capture nuances overlooked by traditional label aggregation. We introduce three approaches to predicting individual annotator ratings on the toxicity of text by incorporating individual annotator-specific information: a neural collaborative filtering (NCF) approach, an in-context learning (ICL) approach, and an intermediate embedding-based architecture. We also study the utility of demographic information for rating prediction. NCF showed limited utility; however, integrating annotator history, demographics, and survey information permits both the embedding-based architecture and ICL to substantially improve prediction accuracy, with the embedding-based architecture outperforming the other methods. We also find that, if demographics are predicted from survey information, using these imputed demographics as features performs comparably to using true demographic data. This suggests that demographics may not provide substantial information for modeling ratings beyond what is captured in survey responses. Our findings raise considerations about the relative utility of different types of annotator information and provide new approaches for modeling annotators in subjective NLP tasks.
• Abstract（参考訳）: アノテータが同意しない場合、個々のアノテータによって与えられるラベルを予測すれば、従来のラベル集約によって見落とされたニュアンスをキャプチャすることができる。 我々は,個々のアノテータ固有の情報(NCF)アプローチ,コンテキスト内学習(ICL)アプローチ,中間埋め込み型アーキテクチャ)を組み込むことで,テキストの毒性に対する個々のアノテータ評価を予測する3つのアプローチを提案する。 また,評価予測のための人口統計情報の有用性についても検討した。 NCFは限られた実用性を示したが、アノテータの歴史、人口統計、調査情報を統合することで、埋め込みベースのアーキテクチャとICLの両方が予測精度を大幅に向上し、埋め込みベースのアーキテクチャは他の手法よりも優れている。 また、調査情報から人口統計が予測された場合、これらの印象的な人口統計を特徴として用いて、真の人口統計データと同等に機能することが判明した。 このことは、人口統計学が調査回答で捉えたもの以上の評価をモデル化するための実質的な情報を提供していないことを示唆している。 本研究は,異なる種類のアノテータ情報の相対的有用性について考察し,主観的NLPタスクにおいて,アノテータをモデル化するための新しいアプローチを提案する。

関連論文リスト

• Fairness without Sensitive Attributes via Knowledge Sharing [13.141672574114597]
  本稿では,信頼度に基づく階層型分類手法であるReckonerを提案する。 実験の結果、ReckonerはCompASデータセットとNew Adultデータセットにおいて、最先端のベースラインを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-09-27T06:16:14Z)
• Measuring and Improving Attentiveness to Partial Inputs with Counterfactuals [91.59906995214209]
  我々は,新しい評価手法であるCAT(Facterfactual Attentiveness Test)を提案する。 CATは、入力の一部を別の例から別の例に置き換えることで、予測を変更する注意深いモデルを期待することで、反事実を使用する。 実験データの精度が向上する一方, GPT3 は実演回数の増加により注意力の低下がみられた。
  論文  参考訳（メタデータ） (2023-11-16T06:27:35Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Metrics for Dataset Demographic Bias: A Case Study on Facial Expression Recognition [4.336779198334903]
  人口統計バイアスの最も顕著な種類は、データセットにおける人口統計群の表現における統計的不均衡である。 我々はこれらの指標を分類するための分類法を開発し、適切な指標を選択するための実践的なガイドを提供する。 この論文は、データセットバイアスを緩和し、AIモデルの公正性と正確性を改善するために、AIと関連する分野の研究者に貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-28T11:04:18Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Adversarial Scrubbing of Demographic Information for Text Classification [29.676274451459896]
  本稿では,文脈表現を曖昧にするために,逆学習フレームワーク "Adversarial Scrubber" (ADS) を提案する。 我々は,特定の条件下での人口統計情報を漏らさずに,我々の枠組みが収束していることを示す。
  論文  参考訳（メタデータ） (2021-09-17T15:38:43Z)
• Predicting Census Survey Response Rates With Parsimonious Additive Models and Structured Interactions [14.003044924094597]
  本研究では, フレキシブルで解釈可能な非パラメトリックモデル群を用いて, アンケート応答率を予測することの問題点を考察する。 この研究は、米国国勢調査局(US Census Bureau)の有名なROAMアプリケーションによって動機付けられている。
  論文  参考訳（メタデータ） (2021-08-24T17:49:55Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Balancing Biases and Preserving Privacy on Balanced Faces in the Wild [50.915684171879036]
  現在の顔認識(FR)モデルには、人口統計バイアスが存在する。 さまざまな民族と性別のサブグループにまたがる偏見を測定するために、我々のバランス・フェイススをWildデータセットに導入します。 真偽と偽のサンプルペアを区別するために1点のスコアしきい値に依存すると、最適以下の結果が得られます。 本稿では,最先端ニューラルネットワークから抽出した顔特徴を用いたドメイン適応学習手法を提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:05:49Z)
• A Revised Generative Evaluation of Visual Dialogue [80.17353102854405]
  本稿では,VisDialデータセットの改訂評価手法を提案する。 モデルが生成した回答と関連する回答の集合のコンセンサスを測定する。 DenseVisDialとして改訂された評価スキームのこれらのセットとコードをリリースする。
  論文  参考訳（メタデータ） (2020-04-20T13:26:45Z)
• Learning Unbiased Representations via Mutual Information Backpropagation [36.383338079229695]
  特に、モデルによって学習された場合、データのいくつかの属性(バイアス)が一般化特性を著しく損なう可能性がある場合に直面します。 本稿では,学習した表現とデータ属性の相互情報を同時に推定し,最小化する,新しいエンドツーエンド最適化手法を提案する。
  論文  参考訳（メタデータ） (2020-03-13T18:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。