論文の概要: From Ground Truth to Measurement: A Statistical Framework for Human Labeling

• arxiv url: http://arxiv.org/abs/2604.07591v1
• Date: Wed, 08 Apr 2026 20:49:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.558496
• Title: From Ground Truth to Measurement: A Statistical Framework for Human Labeling
• Title（参考訳）: 地上の真実から計測へ:人間ラベルの統計的枠組み
• Authors: Robert Chew, Stephanie Eckman, Christoph Kern, Frauke Kreuter,
• Abstract要約: 監視された機械学習は、ラベル付きデータが、モデルが学習することを意図した概念の正確な測定を提供すると仮定する。 しかし、実際には、人間のラベル付けは曖昧な項目、異質な解釈、単純な誤りから生じる体系的なバリエーションを導入している。 本稿では、アノテーションを計測プロセスとして再編成し、ラベル付け結果を解釈可能な変化源に分解する統計的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 6.5507170110120185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised machine learning assumes that labeled data provide accurate measurements of the concepts models are meant to learn. Yet in practice, human labeling introduces systematic variation arising from ambiguous items, divergent interpretations, and simple mistakes. Machine learning research commonly treats all disagreement as noise, which obscures these distinctions and limits our understanding of what models actually learn. This paper reframes annotation as a measurement process and introduces a statistical framework for decomposing labeling outcomes into interpretable sources of variation: instance difficulty, annotator bias, situational noise, and relational alignment. The framework extends classical measurement-error models to accommodate both shared and individualized notions of truth, reflecting traditional and human label variation interpretations of error, and provides a diagnostic for assessing which regime better characterizes a given task. Applying the proposed model to a multi-annotator natural language inference dataset, we find empirical evidence for all four theorized components and demonstrate the effectiveness of our approach. We conclude with implications for data-centric machine learning and outline how this approach can guide the development of a more systematic science of labeling.
• Abstract（参考訳）: 監視された機械学習は、ラベル付きデータが、モデルが学習することを意図した概念の正確な測定を提供すると仮定する。 しかし、実際には、人間のラベル付けは曖昧な項目、異質な解釈、単純な誤りから生じる体系的なバリエーションを導入している。 機械学習の研究は、すべての不一致をノイズとして扱い、これらの区別を曖昧にし、モデルが実際に何を学ぶかを理解するのを制限する。 本稿では,アノテーションを計測プロセスとして再編成し,ラベリング結果を解釈可能な変化源(難易度,アノテータバイアス,状況雑音,関係アライメント)に分解する統計的枠組みを提案する。 このフレームワークは、古典的な計測エラーモデルを拡張して、真理の共有概念と個別概念の両方に対応し、従来のラベルの誤りの解釈を反映し、与えられたタスクをよりよく特徴づける体制を評価するための診断を提供する。 提案したモデルをマルチアノテーションの自然言語推論データセットに適用することにより、4つの理論化されたコンポーネントすべてに対する実証的な証拠を見つけ、我々のアプローチの有効性を実証する。 我々は、データ中心の機械学習がもたらす意味を結論し、このアプローチがラベル付けのより体系的な科学の発展をいかにガイドするかを概説する。

関連論文リスト

• Tutorial on the Probabilistic Unification of Estimation Theory, Machine Learning, and Generative AI [0.0]
  本調査では,古典的推定理論,統計的推論,現代の機械学習を結合した統一的な数学的枠組みを提案する。 本稿では,最大推定,ベイズ推定,注意機構などの手法が不確実性にどう対処するかを示す。 理論的な合成と、機械学習の進化する風景をナビゲートする学生や研究者のための実践的なガイドとして機能する。
  論文  参考訳（メタデータ） (2025-08-21T16:57:33Z)
• Convergence Behavior of an Adversarial Weak Supervision Method [10.409652277630133]
  Weak Supervisionは、機械学習のサブ領域を仮定するパラダイムである。 ラベル付きデータを用いて最新の機械学習手法を訓練することにより、大量のラベル付きデータを取得するコストを改善することができる。 ツムブのルールを組み合わせるための2つのアプローチは、2つのキャンプに分かれ、統計的推定の異なるイデオロギーを反映している。
  論文  参考訳（メタデータ） (2024-05-25T02:33:17Z)
• Differential contributions of machine learning and statistical analysis to language and cognitive sciences [27.152245569974678]
  本研究では、Buckeye Speech Corpusを用いて、機械学習と統計分析がデータ駆動型研究にどのように適用されているかを説明する。 それぞれのアプローチの理論的相違、実装手順、ユニークな目的を実証する。 この研究は、対象語に対する文脈的影響を測定する新しい尺度である意味的関連性が、発話中の単語の持続時間を理解するのにどのように貢献するかを強調した。
  論文  参考訳（メタデータ） (2024-04-22T10:06:21Z)
• Revisiting Self-supervised Learning of Speech Representation from a Mutual Information Perspective [68.20531518525273]
  我々は、情報理論の観点から、既存の自己教師型音声の手法を詳しく検討する。 我々は線形プローブを用いて、対象情報と学習された表現の間の相互情報を推定する。 我々は、ラベルを使わずに、データの異なる部分間の相互情報を見積もる自己教師型の表現を評価する可能性を探る。
  論文  参考訳（メタデータ） (2024-01-16T21:13:22Z)
• Bias-inducing geometries: an exactly solvable data model with fairness implications [12.532003449620607]
  我々は、正確に解決可能なデータ不均衡の高次元モデルを導入する。 この合成フレームワークで訓練された学習モデルの典型的特性を解析的に解き放つ。 フェアネス評価によく用いられる観測対象の正確な予測値を得る。
  論文  参考訳（メタデータ） (2022-05-31T16:27:57Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• Resolving label uncertainty with implicit posterior models [71.62113762278963]
  本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。 異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
  論文  参考訳（メタデータ） (2022-02-28T18:09:44Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• Fairness in Semi-supervised Learning: Unlabeled Data Help to Reduce Discrimination [53.3082498402884]
  機械学習の台頭における投機は、機械学習モデルによる決定が公正かどうかである。 本稿では,未ラベルデータのラベルを予測するための擬似ラベリングを含む,前処理フェーズにおける公平な半教師付き学習の枠組みを提案する。 偏見、分散、ノイズの理論的分解分析は、半教師付き学習における差別の異なる源とそれらが公平性に与える影響を浮き彫りにする。
  論文  参考訳（メタデータ） (2020-09-25T05:48:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。