論文の概要: Calibrate, Don't Retrain: Decomposing the Value of Annotator Disagreement in Cyberbullying Severity
- arxiv url: http://arxiv.org/abs/2611.15010v1
- Date: Wed, 11 Nov 2026 04:08:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.007656
- Title: Calibrate, Don't Retrain: Decomposing the Value of Annotator Disagreement in Cyberbullying Severity
- Title(参考訳): Calibrate, Don't Retrain: Decomposing the Value of Annotator Disagreement in Cyberbullying Severity
- Abstract要約: 機械学習モデルは、複数の人間のアノテーションによって生成されたラベル付きデータに基づいて訓練されることが多い。
これらのアノテーターが同意しなかった場合、そのレーベルは通常、単一の過半数の投票に崩壊する。
単一多数決ラベルではなく,アノテータ判定の分布を予測することによって,この情報をモデルが保持できるかどうかを問う。
- 参考スコア(独自算出の注目度): 1.286661294802253
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning models are often trained on labeled data produced by multiple human annotators. When those annotators disagree, their labels are commonly collapsed into a single majority vote, which discards information about the underlying disagreement. We examine the cost of this practice for cyberbullying severity, a subjective judgment on which annotators disagree heavily. In the corpus we study, all 5 annotators assigned the same severity label to only 4.1% of comments. Turning 5 judgments into one label hides this disagreement and obscures how much the annotators differed in their assessments. In this paper, we ask whether a model can preserve this information by predicting the distribution of annotator judgments instead of a single majority label. We find 3 main results. First, accuracy against the majority label cannot tell competent models apart: 2 models with similar accuracy can differ greatly in how well they match the distribution of annotator judgments. Second, predicting the full distribution requires little extra effort. Calibrating an existing model, which adjusts its output probabilities after training, captures most of the improvement without retraining, across 3 datasets covering severity, abuse, and irony, while training on label distributions adds a small further gain. Third, we examine a dataset that includes annotator demographics, where a single shared model has one advantage and one limit. The advantage is that a model predicting the distribution of judgments matches each demographic group's judgments significantly better than a model trained on majority labels, so both groups gain. The limit is that it does not narrow the gap in performance between the groups, because one shared model cannot encode which group is right on a given comment. Preserving annotator disagreement is therefore a low-cost step toward fairer moderation, though not a complete one.
- Abstract(参考訳): 機械学習モデルは、複数の人間のアノテーションによって生成されたラベル付きデータに基づいて訓練されることが多い。
これらのアノテータが意見が一致しない場合、そのラベルは一般的に単一の多数決に崩壊し、基礎となる意見の不一致に関する情報は捨てられる。
本稿では,アノテータが強く意見の一致しない主観的判断であるサイバーいじめの重大さに対するこの慣行のコストについて検討する。
コーパスでは,5つのアノテータが同一の重度ラベルを4.1%のコメントに割り当てた。
5つの判断を1つのラベルに変えることは、この不一致を隠蔽し、アノテーターが評価においてどの程度異なるかを明らかにする。
本稿では,1つの過半数ラベルではなく,アノテータ判定の分布を予測することによって,この情報をモデルが保持できるかどうかを問う。
主な結果が3つある。
まず、過半数ラベルに対する精度は、有能なモデルを区別できない:類似の精度を持つ2つのモデルは、アノテータの判断の分布にどの程度よく一致するかで大きく異なる。
第二に、完全な分布を予測するには、余分な労力がほとんど必要ありません。
トレーニング後のアウトプット確率を調整する既存のモデルのキャリブレーションは、重大さ、虐待、皮肉をカバーした3つのデータセットにまたがって、再トレーニングなしで改善のほとんどをキャプチャします。
第3に,1つの共有モデルに1つの利点と1つの制限があるアノテータ人口統計を含むデータセットについて検討する。
利点は、判断の分布を予測するモデルは、各人口集団の判断と、過半数のラベルで訓練されたモデルとはかなりよく一致しているため、どちらのグループも得ていることである。
一つの共有モデルは、与えられたコメントに対してどのグループが正しいかをエンコードできないため、グループ間のパフォーマンスのギャップを狭めない、という制限がある。
したがって、アノテータの不一致を保存することは、完全なものではないが、より公平なモデレーションに向けた低コストなステップである。
関連論文リスト
- Practical Estimation of the Bayes Optimal Fairness-Accuracy Tradeoff with Soft Labels [63.37655367103961]
Bayesエラーは、トレーニングされたモデルのベンチマークであり、オーバーフィッティングを検出するための基準である。
このような概念を、公正性などの制約付き分類問題に拡張する。
フェアベイズ誤差率の明示的な式を導出する。
論文 参考訳(メタデータ) (2026-11-04T06:29:11Z) - A Model for Imbalanced Label Aggregation: A Focus on Minority-Class Detection [4.133245571268133]
クラス依存アノテータの精度に着目し,不均衡なクラウドソーシングについて検討する。
本稿では,項目難易度とクラス依存アノテータ能力を組み合わせた生成的集約モデルを提案する。
我々のモデルは、バランスの取れた精度で競争力を維持しながら、最少のマイノリティリコールを達成する。
論文 参考訳(メタデータ) (2026-07-27T16:17:34Z) - CoVerRL: Breaking the Consensus Trap in Label-Free Reasoning via Generator-Verifier Co-Evolution [52.691495954442985]
CoVerRLは1つのモデルがジェネレータと検証ロールを交換するフレームワークで、各機能が他方をブートストラップする。
Qwen と Llama のモデルファミリーでの実験では、CoVerRL は数理推論のベンチマークで4.7-5.9% でラベルなしのベースラインを上回っている。
自己検証の精度は55%から85%以上改善され、両方の能力が真に共存することを確認した。
論文 参考訳(メタデータ) (2026-03-18T14:38:55Z) - Judging with Confidence: Calibrating Autoraters to Preference Distributions [56.17041629492863]
信頼性の高いオートラッターは、対象の個体群によって定義される嗜好の完全な分布をモデル化することを学ぶ必要がある、と我々は主張する。
異なるデータ条件に合わせた2つの学習方法を提案する。
この結果から, 分布マッチング目的の微調整オートレーダは, 目的の好み分布に整合した有言確率予測を導出することがわかった。
論文 参考訳(メタデータ) (2025-09-30T20:36:41Z) - Subjective Crowd Disagreements for Subjective Data: Uncovering
Meaningful CrowdOpinion with Population-level Learning [8.530934084017966]
emphCrowdOpinionは、言語特徴とラベル分布を用いて、類似した項目をラベル分布のより大きなサンプルにまとめる教師なし学習手法である。
ソーシャルメディアから利用可能な5つのベンチマークデータセット(アノテータの不一致のレベルが異なる)を使用します。
また、Facebookのデータセットを使って、投稿に反応するユーザーによって、プラットフォーム自体からアノテーションが送られてくるような実験も行っています。
論文 参考訳(メタデータ) (2023-07-07T22:09:46Z) - Confidence-Based Model Selection: When to Take Shortcuts for
Subpopulation Shifts [119.22672589020394]
モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。
我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
論文 参考訳(メタデータ) (2023-06-19T18:48:15Z) - Arbitrariness and Social Prediction: The Confounding Role of Variance in
Fair Classification [31.392067805022414]
異なる訓練されたモデル間での予測のばらつきは、公正なバイナリ分類における重要な、未探索のエラーの原因である。
実際には、いくつかのデータ例のばらつきは非常に大きいので、決定を効果的に任意にすることができる。
予測が任意である場合に分類を省略するアンサンブルアルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-01-27T06:52:04Z) - SeedBERT: Recovering Annotator Rating Distributions from an Aggregated
Label [43.23903984174963]
単一ラベルからアノテータ評価分布を復元するSeedBERTを提案する。
人間の評価は,SeedBERTの注意機構がアノテータの不一致の原因と一致していることを示している。
論文 参考訳(メタデータ) (2022-11-23T18:35:15Z) - Are Fewer Labels Possible for Few-shot Learning? [81.89996465197392]
ごく限られたデータとラベルのため、わずかなショット学習は難しい。
近年のBiT (Big Transfer) 研究は、異なる領域における大規模ラベル付きデータセットの事前トレーニングによって、少数ショット学習が大きな恩恵を受けることを示した。
本稿では,ファインチューニングにおけるクラスタリングと固有サンプルの共進化を活かし,ショット学習の削減を図る。
論文 参考訳(メタデータ) (2020-12-10T18:59:29Z) - One-bit Supervision for Image Classification [121.87598671087494]
1ビットの監視は、不完全なアノテーションから学ぶための新しい設定である。
負ラベル抑圧を既成の半教師付き学習アルゴリズムに組み込んだ多段階学習パラダイムを提案する。
論文 参考訳(メタデータ) (2020-09-14T03:06:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。