論文の概要: On the Calibration of Crowdsourcing Aggregators

• arxiv url: http://arxiv.org/abs/2610.16815v1
• Date: Mon, 12 Oct 2026 14:00:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:26:09.83139
• Title: On the Calibration of Crowdsourcing Aggregators
• Title（参考訳）: クラウドソーシングアグリゲータの校正について
• Abstract要約: ラベルアグリゲーションにおけるキャリブレーションの理論的および実証的研究を行った。 モデルベースアグリゲータが過信であるのに対して、多数派投票は過信である。 本稿では,アグリゲータをエマグリゲーションするポストホックキャリブレーション法を提案する。
• 参考スコア（独自算出の注目度）: 3.7144388060857736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Calibration has been extensively studied for classifiers, but remains largely unexplored for crowdsourcing aggregation methods, which are increasingly used for making probabilistic decisions. To the best of our knowledge, we provide the first theoretical and empirical study of calibration in label aggregation. To our great surprise, we find that widely used aggregation methods can be severely miscalibrated, and in opposite directions: Majority Vote is underconfident while model-based aggregators are overconfident. We prove that the Bayesian aggregator is perfectly calibrated under its data-generating model. We also show that exact calibration of weighted majority votes requires highly restrictive conditions, which helps explain why Majority Vote is generally miscalibrated in realistic crowds. Empirically, we study calibration across $39$ human crowdsourcing datasets and LLM-based crowds. In both cases, we observe systematic miscalibration for aggregation models such as Majority Vote, Dawid--Skene, GLAD, and CrowdFM. Finally, we propose a post-hoc calibration procedure that \emph{aggregates the aggregators}: for any aggregation function $φ$, we introduce a transformation that first combines its predictive distribution with those of complementary aggregators, before applying temperature scaling. This simple and interpretable transformation makes temperature scaling more effective than when applied directly to $φ$. It improves calibration, especially in the high-redundancy regime where there are many annotations per item, while generally preserving or even improving accuracy.
• Abstract（参考訳）: キャリブレーションは分類器として広く研究されてきたが、クラウドソーシングのアグリゲーション手法については明らかにされていない。 我々の知識を最大限に活用するために,ラベルアグリゲーションにおけるキャリブレーションの理論的および実証的研究を行った。 モデルベースアグリゲータが過度に信頼されている間、メジャーなVoteは自信不足である。 ベイズアグリゲータはそのデータ生成モデルの下で完全に校正されていることを証明した。 また、重み付けされた多数決の正確な校正には極めて制限的な条件が必要であることも示しており、これが現実的な集団において、多数決が一般的に誤校正されている理由を説明するのに役立つ。 実証的に、人間のクラウドソーシングデータセットとLLMベースのクラウドのキャリブレーションについて調査している。 いずれの場合も,Majority Vote, Dawid-Skene, GLAD, CrowdFMなどの集約モデルの体系的誤校正を観察する。 最後に,任意のアグリゲータを‘emph{aggregates the aggregators}’とするポストホックキャリブレーション法を提案し,任意のアグリゲータ関数に対して,まず温度スケーリングを適用する前に,その予測分布と相補的なアグリゲータの分布を結合する変換を導入する。 この単純かつ解釈可能な変換は、$φ$に直接適用した場合よりも、温度スケーリングをより効果的にする。 キャリブレーションが向上し、特にアイテムごとに多くのアノテーションがある高冗長なシステムでは、一般的に保存や精度の向上が図られる。

関連論文リスト

• Private Federated Multiclass Post-hoc Calibration [22.40729940679]
  フェデレートラーニング(FL)の目標は、複数のクライアントに分散し、プライバシー上の懸念から集中できないデータに対して、グローバルモデルをトレーニングすることだ。 本研究は, FL内におけるポストホックモデルキャリブレーション技術の統合について紹介する。 本研究では,(1)フェデレーション設定,(2)ユーザレベル差分プライバシー(DP)設定について検討し,両者がキャリブレーション精度に与える影響を実証する。
  論文  参考訳（メタデータ） (2025-10-02T13:05:31Z)
• When is Multicalibration Post-Processing Necessary? [12.628103786954487]
  多重校正は有意義な不確実性推定を保証する予測器の特性である。 本研究は,マルチキャリブレーション後処理の有用性を評価するための総合的研究である。 我々は,マルチキャリブレーション後処理の実用的,効果的な応用に有用な,多くの独立した観測結果を蒸留する。
  論文  参考訳（メタデータ） (2024-06-10T17:26:39Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Optimal Regularization for a Data Source [8.38093977965175]
  解の量を促進する正則化器でデータの忠実性を強制する基準を強化するのが一般的である。 本稿では,凸正則化のパワーと限界の体系的理解を求める。
  論文  参考訳（メタデータ） (2022-12-27T20:11:59Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• The Calibration Generalization Gap [15.583540869583484]
  現代のニューラルネットワークはキャリブレーションに強い保証を与えない。 現在、どの要因が良好な校正に寄与するかは定かではない。 校正誤差を研究するための体系的な手法を提案する。
  論文  参考訳（メタデータ） (2022-10-05T00:04:56Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。