論文の概要: When is Multicalibration Post-Processing Necessary?

• arxiv url: http://arxiv.org/abs/2406.06487v2
• Date: Mon, 04 Nov 2024 22:17:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:56:07.560162
• Title: When is Multicalibration Post-Processing Necessary?
• Title（参考訳）: マルチキャリブレーションはいつ必要か?
• Authors: Dutch Hansen, Siddartha Devic, Preetum Nakkiran, Vatsal Sharan,
• Abstract要約: 多重校正は有意義な不確実性推定を保証する予測器の特性である。 本研究は,マルチキャリブレーション後処理の有用性を評価するための総合的研究である。 我々は,マルチキャリブレーション後処理の実用的,効果的な応用に有用な,多くの独立した観測結果を蒸留する。
• 参考スコア（独自算出の注目度）: 12.628103786954487
• License:
• Abstract: Calibration is a well-studied property of predictors which guarantees meaningful uncertainty estimates. Multicalibration is a related notion -- originating in algorithmic fairness -- which requires predictors to be simultaneously calibrated over a potentially complex and overlapping collection of protected subpopulations (such as groups defined by ethnicity, race, or income). We conduct the first comprehensive study evaluating the usefulness of multicalibration post-processing across a broad set of tabular, image, and language datasets for models spanning from simple decision trees to 90 million parameter fine-tuned LLMs. Our findings can be summarized as follows: (1) models which are calibrated out of the box tend to be relatively multicalibrated without any additional post-processing; (2) multicalibration post-processing can help inherently uncalibrated models and large vision and language models; and (3) traditional calibration measures may sometimes provide multicalibration implicitly. More generally, we also distill many independent observations which may be useful for practical and effective applications of multicalibration post-processing in real-world contexts. We also release a python package implementing multicalibration algorithms, available via `pip install multicalibration'.
• Abstract（参考訳）: キャリブレーションは、有意義な不確実性推定を保証する予測器のよく研究された特性である。 マルチキャリブレーション(マルチキャリブレーション、英: multicalibration)とは、アルゴリズムの公正性から派生した、保護されたサブ集団(民族、人種、収入によって定義されるグループなど)の潜在的に複雑で重複するコレクションに対して、予測者が同時にキャリブレーションされることを要求する、関連する概念である。 簡単な決定木から9000万のパラメータ微調整LCMまで、幅広い表、画像、言語データセットの集合にまたがるマルチキャリブレーション後処理の有用性を評価するための、最初の総合的研究を行った。 その結果,(1) 箱からキャリブレーションされたモデルは,追加の事後処理なしで比較的マルチキャリブレーションされる傾向があり,(2) マルチキャリブレーション後処理は本質的に非キャリブレーションモデルや大規模ビジョンや言語モデルに役立ち,(3) 従来のキャリブレーション手法は暗黙的にマルチキャリブレーションを提供することがある。 より一般的には、実世界の文脈におけるマルチキャリブレーション後処理の実用的で効果的な応用に有用な多くの独立した観測を蒸留する。 我々はまた、 'pip install multicalibration' を通じて利用可能なマルチキャリブレーションアルゴリズムを実装したpythonパッケージもリリースした。

関連論文リスト

• Calibrated Multivariate Regression with Localized PIT Mappings [4.277516034244117]
  本稿では,多変量キャリブレーションに対処するポストホックリカレーション手法を提案する。 このアプローチの2つのバージョンを示す: 1つはK-アネレスト近傍を使い、もう1つは正規化フローを使用する。 本研究では,インドにおける小児栄養失調の回帰モデルの改善と,深層ニューラルネットワークの通貨為替レート予測の緩和という,2つの実データ応用に対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-17T02:41:03Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Multi-Head Multi-Loss Model Calibration [13.841172927454204]
  我々は,深層アンサンブルの訓練と推論に要する費用を省く,単純化されたアンサンブルの形式を導入する。 具体的には、各頭部は、重み付きクロスエントロピー損失を最小限に抑えるために訓練されるが、重みは異なる枝によって異なる。 その結果,2つの挑戦データセットにおいて精度を犠牲にすることなく,精度の高いキャリブレーションを達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-03-02T09:32:32Z)
• A Unifying Perspective on Multi-Calibration: Game Dynamics for Multi-Objective Learning [63.20009081099896]
  マルチキャリブレーション予測器の設計と解析のための統一フレームワークを提供する。 ゲームダイナミクスとの接続を利用して,多様なマルチ校正学習問題に対する最先端の保証を実現する。
  論文  参考訳（メタデータ） (2023-02-21T18:24:17Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Fair admission risk prediction with proportional multicalibration [0.16249424686052708]
  マルチキャリブレーション制約は、柔軟に定義されたサブポピュレーション間のキャリブレーション誤差を補正する。 意思決定者は特定のグループに対するモデル予測を信頼するか、不信にするかを学ぶことができる。 本稿では,グループ間および予測ビン内における正の校正誤差を制限する基準である比例多重校正を提案する。
  論文  参考訳（メタデータ） (2022-09-29T08:15:29Z)
• Modular Conformal Calibration [80.33410096908872]
  回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。 このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。 我々は17の回帰データセットに対するMCCの実証的研究を行った。
  論文  参考訳（メタデータ） (2022-06-23T03:25:23Z)
• Low-Degree Multicalibration [16.99099840073075]
  低Degree Multicalibration は、ますます強力なマルチグループフェアネスの概念の階層を定義する。 低次マルチキャリブレーションは完全マルチキャリブレーションよりもはるかに効率的であることを示す。 我々の研究は、低次多重校正がスイートスポット、ペアリング計算とサンプル効率を強い公正性と精度保証で表しているという説得力のある証拠を提示する。
  論文  参考訳（メタデータ） (2022-03-02T17:24:55Z)
• Flexible Model Aggregation for Quantile Regression [92.63075261170302]
  量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。 条件付き量子モデルの任意の数を集約する手法について検討する。 この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
  論文  参考訳（メタデータ） (2021-02-26T23:21:16Z)
• Self-Calibration Supported Robust Projective Structure-from-Motion [80.15392629310507]
  本稿では,自己校正制約によってマッチングプロセスが支持される統合されたStructure-from-Motion (SfM)法を提案する。 これらの制約を利用して,ロバストなマルチビューマッチングと正確なカメラキャリブレーションを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-07-04T08:47:10Z)
• Quantile Regularization: Towards Implicit Calibration of Regression Models [30.872605139672086]
  2つのCDF間の累積KL分散として定義される新しい量子正規化器に基づく回帰モデルの校正法を提案する。 提案手法は,Dropout VI や Deep Ensembles といった手法を用いて学習した回帰モデルのキャリブレーションを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2020-02-28T16:53:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。