論文の概要: An Assessment of Human vs. Model Uncertainty in Soft-Label Learning and Calibration

• arxiv url: http://arxiv.org/abs/2605.18648v1
• Date: Mon, 18 May 2026 16:55:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:50.113738
• Title: An Assessment of Human vs. Model Uncertainty in Soft-Label Learning and Calibration
• Title（参考訳）: ソフトラベル学習と校正における人間対モデル不確かさの評価
• Abstract要約: 本報告では,MNISTと合成変種を用いたソフトレーベル学習の制御監査について述べる。 人間のソフトラベルは精度を向上するが、それらの大きな価値は正規化器として機能することにある。
• 参考スコア（独自算出の注目度）: 2.8333175936728594
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Central to human-aligned AI is understanding the benefits of human-elicited labels over synthetic alternatives. While human soft-labels improve calibration by capturing uncertainty, prior studies conflate these benefits with the implicit correction of mislabeled data (mode shifts), obscuring true effects of soft-labels. We present a controlled audit of soft-label learning across MNIST and a synthetic variant, re-annotating subsets to extract human uncertainty. By decoupling soft-label supervision from underlying label mode shifts, we show that while human soft-labels do provide accuracy gains, their larger value lies in acting as a regularizer that improves model calibration on difficult samples and promotes stable convergence across training runs. Dataset cartography reveals models trained on human soft-labels mirror human uncertainty, whereas those trained on synthetic labels fail to align with humans. Broadly, this work provides a diagnostic testbed for human-AI uncertainty alignment.
• Abstract（参考訳）: 人間に沿ったAIの中心は、人工的な代替品よりも、人間によるラベルの利点を理解することである。 人間のソフトラベルは不確実性を捉えることによって校正を改善するが、以前の研究では、これらの利点を、間違ったラベル付きデータの暗黙の修正(モードシフト)と説明し、ソフトラベルの真の影響を無視する。 我々は,MNIST全体にわたるソフトレーベル学習の制御監査と,人間の不確かさを抽出するために,サブセットを再注釈する合成変種を提示する。 ラベルモードシフトからソフトラベルの監督を分離することにより、人間のソフトラベルが精度向上を提供する一方で、それらの大きな価値は、難しいサンプルのモデル校正を改善し、トレーニングの実行中に安定した収束を促進する正規化器として機能することにあることを示す。 データセットのカートグラフィーでは、人間のソフトラベルで訓練されたモデルが人間の不確実性を反映しているのに対し、合成ラベルで訓練されたモデルは人間と一致しない。 この研究は、人間-AIの不確実性アライメントの診断テストベッドを提供する。

関連論文リスト

• DiCaP: Distribution-Calibrated Pseudo-labeling for Semi-Supervised Multi-Label Learning [83.94574004953346]
  半教師付きマルチラベル学習は、ラベルのないデータを活用してモデルの性能を向上させることを目的としている。 既存の手法の多くは、その品質に関わらず、すべての擬似ラベルに等しい重みを割り当てる。 擬似ラベル重みの校正に後部精度を推定する正当性認識フレームワークDiCaPを提案する。
  論文  参考訳（メタデータ） (2025-11-25T11:55:02Z)
• Soft-Label Training Preserves Epistemic Uncertainty [4.2541480167286005]
  機械学習タスクには固有の主観性が含まれており、アノテータは自然に様々なラベルを提供する。 標準的な慣行は、これらのラベルの分布を単一のラベルに分解し、様々な人間の判断を点推定に集約する。 このアプローチは曖昧なデータに対して不一致であり、アノテーションの分布自体が基礎となる真理と見なされるべきである、と我々は主張する。
  論文  参考訳（メタデータ） (2025-11-18T04:02:29Z)
• Reliable Wireless Indoor Localization via Cross-Validated Prediction-Powered Calibration [29.171927240331414]
  本稿では,限られたキャリブレーションデータを用いて予測器を同時に微調整し,合成ラベルのバイアスを推定する手法を提案する。 フィンガープリントデータセットの実験により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2025-07-27T13:31:02Z)
• Beyond correlation: The Impact of Human Uncertainty in Measuring the Effectiveness of Automatic Evaluation and LLM-as-a-Judge [51.93909886542317]
  一つの集計相関スコアを*参照することで、人名と自動評価の基本的な違いが曖昧になることを示す。 本研究では,評価性能のより堅牢な解析を行うために,ラベルの不確実性による階層化データを提案する。
  論文  参考訳（メタデータ） (2024-10-03T03:08:29Z)
• Perceptual Quality-based Model Training under Annotator Label Uncertainty [15.015925663078377]
  アノテーションは、アノテータラベルの不確実性と呼ばれるデータラベリング中に不一致を示す。 モデル学習のための複数のラベルを客観的に生成する新しい知覚品質ベースモデルトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-15T10:52:18Z)
• Learning with Imbalanced Noisy Data by Preventing Bias in Sample Selection [82.43311784594384]
  実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。 不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-17T10:34:53Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• On the Ramifications of Human Label Uncertainty [17.906197972126325]
  ヒトラベルの不確実性(HLU)の関連について検討する。 本研究では,人為的なラベルを必要とせず,新たな自然景観統計(NSS)に基づくラベル希釈訓練手法を提案する。 実験と分析により,NSSによるラベル希釈によるトレーニングは,HLUによる不適切な影響を緩和することが示された。
  論文  参考訳（メタデータ） (2022-11-10T21:05:38Z)
• Unsupervised Domain Adaptive Salient Object Detection Through Uncertainty-Aware Pseudo-Label Learning [104.00026716576546]
  そこで本研究では,手動のアノテーションを使わずに,自然に高いピクセルラベル品質を有する合成・クリーンなラベルから,サリエンスを学習することを提案する。 提案手法は,複数のベンチマークデータセット上で,既存の最先端の深層教師なしSOD法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-26T16:03:55Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。