論文の概要: NUTMEG: Separating Signal From Noise in Annotator Disagreement

• arxiv url: http://arxiv.org/abs/2507.18890v1
• Date: Fri, 25 Jul 2025 02:16:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-28 16:16:48.796119
• Title: NUTMEG: Separating Signal From Noise in Annotator Disagreement
• Title（参考訳）: NUTMEG:アノテータの診断におけるノイズからの信号分離
• Authors: Jonathan Ivey, Susan Gauch, David Jurgens,
• Abstract要約: 我々は,アノテーションの背景情報を組み込んだ新しいベイズモデルであるNUTMEGを導入し,人間のラベル付きデータからノイズの多いアノテーションを除去する。 NUTMEGは従来のアグリゲーション法よりも体系的不一致のアノテーションから地道回復に有効であることを示す。 本研究は,アノテータ能力と体系的不一致の両面から,人間ラベルデータを用いたトレーニングを行う上での重要性を強調した。
• 参考スコア（独自算出の注目度）: 11.747738454720995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: NLP models often rely on human-labeled data for training and evaluation. Many approaches crowdsource this data from a large number of annotators with varying skills, backgrounds, and motivations, resulting in conflicting annotations. These conflicts have traditionally been resolved by aggregation methods that assume disagreements are errors. Recent work has argued that for many tasks annotators may have genuine disagreements and that variation should be treated as signal rather than noise. However, few models separate signal and noise in annotator disagreement. In this work, we introduce NUTMEG, a new Bayesian model that incorporates information about annotator backgrounds to remove noisy annotations from human-labeled training data while preserving systematic disagreements. Using synthetic data, we show that NUTMEG is more effective at recovering ground-truth from annotations with systematic disagreement than traditional aggregation methods. We provide further analysis characterizing how differences in subpopulation sizes, rates of disagreement, and rates of spam affect the performance of our model. Finally, we demonstrate that downstream models trained on NUTMEG-aggregated data significantly outperform models trained on data from traditionally aggregation methods. Our results highlight the importance of accounting for both annotator competence and systematic disagreements when training on human-labeled data.
• Abstract（参考訳）: NLPモデルは、トレーニングと評価のために、人間のラベル付きデータに依存することが多い。 多くのアプローチは、さまざまなスキル、バックグラウンド、モチベーションを持つ多数のアノテータからこのデータをクラウドソースすることで、矛盾するアノテーションを生み出します。 これらの対立は伝統的に、不一致が誤りであると仮定する集約手法によって解決されてきた。 最近の研究は、多くのタスクアノテータには真の不一致があり、ノイズよりも信号として扱われるべきであると主張している。 しかし、アノテータの不一致で信号とノイズを分離するモデルはほとんどない。 本研究では,アノテータの背景情報を組み込んだ新しいベイズモデルであるNUTMEGを導入し,体系的な不一致を保ちながら,人間のラベル付きトレーニングデータからノイズの多いアノテーションを除去する。 合成データを用いて, NUTMEGは, 従来の集計法よりも, 体系的な意見の相違をともなうアノテーションから根本的真実を回復する上で, より効果的であることを示す。 さらに、サブポピュレーションサイズ、不一致率、スパム率の違いがモデルの性能に与える影響を特徴付ける分析を行った。 最後に, NUTMEG集約データに基づいてトレーニングした下流モデルは, 従来の集約手法からトレーニングしたデータよりも有意に優れていたことを示す。 本研究は,アノテータ能力と体系的不一致の両面から,人間ラベルデータを用いたトレーニングを行う上での重要性を強調した。

関連論文リスト

• What is Adversarial Training for Diffusion Models? [4.71482540145286]
  拡散モデル(DM)に対する対戦訓練(AT)は,分類器と根本的に異なることを示す。 ATは拡散流の滑らかさを強制し、異常値と破損したデータを改善する方法である。 我々は,低次元および高次元空間における既知の分布を持つ概念実証データセットを用いて,我々のアプローチを厳密に評価する。
  論文  参考訳（メタデータ） (2025-05-27T20:32:28Z)
• Adversarial Domain Adaptation for Cross-user Activity Recognition Using Diffusion-based Noise-centred Learning [0.0]
  HAR(Human Activity Recognition)は、人間とコンピュータの相互作用や医療モニタリングなど、様々な用途において重要な役割を担っている。 本稿では,拡散に基づく雑音中心型適応型適応(Diff-Noise-Adv-DA)という新しいフレームワークを提案する。 生成拡散モデリングと逆学習技術を活用することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2024-08-06T08:55:49Z)
• Weak Reward Model Transforms Generative Models into Robust Causal Event Extraction Systems [17.10762463903638]
  我々は人的評価を近似するために評価モデルを訓練し、高い合意を得る。 そこで本研究では,アノテートデータの一部を用いて評価モデルを訓練する弱強監督手法を提案する。
  論文  参考訳（メタデータ） (2024-06-26T10:48:14Z)
• Measuring and Improving Attentiveness to Partial Inputs with Counterfactuals [91.59906995214209]
  我々は,新しい評価手法であるCAT(Facterfactual Attentiveness Test)を提案する。 CATは、入力の一部を別の例から別の例に置き換えることで、予測を変更する注意深いモデルを期待することで、反事実を使用する。 実験データの精度が向上する一方, GPT3 は実演回数の増加により注意力の低下がみられた。
  論文  参考訳（メタデータ） (2023-11-16T06:27:35Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Improving Heterogeneous Model Reuse by Density Estimation [105.97036205113258]
  本稿では,異なる参加者の個人データを用いてモデルを学習することを目的とした多人数学習について検討する。 モデルの再利用は、各パーティーのためにローカルモデルがトレーニングされていると仮定して、マルチパーティの学習にとって有望なソリューションである。
  論文  参考訳（メタデータ） (2023-05-23T09:46:54Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• Learning Confident Classifiers in the Presence of Label Noise [5.551384206194696]
  本稿では,ノイズ観測のための確率論的モデルを提案し,信頼性の高い分類とセグメンテーションモデルの構築を可能にする。 実験により,本アルゴリズムは,検討された分類問題と分割問題に対して,最先端の解よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-01-02T04:27:25Z)
• Reducing Model Jitter: Stable Re-training of Semantic Parsers in Production Environments [14.829119556960066]
  現代のディープラーニングシステムのリトレーニングは、同じデータとハイパーパラメータを使ってトレーニングした場合でも、モデルパフォーマンスのバリエーションにつながる可能性がある。 本研究では, アンサンブルや蒸留など, 様々なジッタ低減技術の有効性を実証する。 本研究では, セマンティック・パーシングシステムにおいて, 資源使用量の増加が緩やかに増加し, ジッタ低減の点において, 共蒸留がスイートスポットとなることを示す。
  論文  参考訳（メタデータ） (2022-04-10T17:57:55Z)
• Overcoming Conflicting Data when Updating a Neural Semantic Parser [5.471925005642665]
  タスク指向のセマンティックパースモデルを更新するために、いくつかの例で所望の出力が変更されたときに、少量の新しいデータをどのように使うかを示す。 このような方法で更新を行う場合、潜在的な問題の1つは、競合するデータの存在である。 矛盾するデータの存在が更新の学習を著しく妨げていることを示し、その影響を軽減するためにいくつかの方法を模索する。
  論文  参考訳（メタデータ） (2020-10-23T21:19:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。