論文の概要: When is Multicalibration Post-Processing Necessary?

• arxiv url: http://arxiv.org/abs/2406.06487v1
• Date: Mon, 10 Jun 2024 17:26:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 12:29:56.386782
• Title: When is Multicalibration Post-Processing Necessary?
• Title（参考訳）: マルチキャリブレーションはいつ必要か?
• Authors: Dutch Hansen, Siddartha Devic, Preetum Nakkiran, Vatsal Sharan,
• Abstract要約: 本研究は,マルチキャリブレーション後処理の有用性を評価するための総合的研究である。 その結果,(1) 箱からキャリブレーションされたモデルは,追加の事後処理なしで比較的マルチキャリブレーションされる傾向があり,(2) マルチキャリブレーション後処理は本質的に非キャリブレーションモデルに役立つこと,(3) 従来のキャリブレーション手法が暗黙的にマルチキャリブレーションを提供することがあること,などが示唆された。
• 参考スコア（独自算出の注目度）: 12.628103786954487
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Calibration is a well-studied property of predictors which guarantees meaningful uncertainty estimates. Multicalibration is a related notion -- originating in algorithmic fairness -- which requires predictors to be simultaneously calibrated over a potentially complex and overlapping collection of protected subpopulations (such as groups defined by ethnicity, race, or income). We conduct the first comprehensive study evaluating the usefulness of multicalibration post-processing across a broad set of tabular, image, and language datasets for models spanning from simple decision trees to 90 million parameter fine-tuned LLMs. Our findings can be summarized as follows: (1) models which are calibrated out of the box tend to be relatively multicalibrated without any additional post-processing; (2) multicalibration post-processing can help inherently uncalibrated models; and (3) traditional calibration measures may sometimes provide multicalibration implicitly. More generally, we also distill many independent observations which may be useful for practical and effective applications of multicalibration post-processing in real-world contexts.
• Abstract（参考訳）: キャリブレーションは、有意義な不確実性推定を保証する予測子のよく研究された特性である。 マルチキャリブレーション(マルチキャリブレーション、英: multicalibration)とは、アルゴリズムの公正性から派生した、保護されたサブ集団(民族、人種、収入によって定義されるグループなど)の潜在的に複雑で重複するコレクションに対して、予測者が同時にキャリブレーションされることを要求する、関連する概念である。 簡単な決定木から9000万のパラメータ微調整LDMまで、幅広い表、画像、言語データセットの集合にまたがるマルチキャリブレーション後処理の有用性を評価するための、最初の総合的研究を行った。 その結果,(1) 箱からキャリブレーションされたモデルは,追加の事後処理なしで比較的マルチキャリブレーションされる傾向があり,(2) マルチキャリブレーション後処理は本質的に非キャリブレーションモデルに役立つこと,(3) 従来のキャリブレーション手法が暗黙的にマルチキャリブレーションを提供することがあること,などが示唆された。 より一般的には、実世界の文脈におけるマルチキャリブレーション後処理の実用的で効果的な応用に有用な多くの独立した観測を蒸留する。

関連論文リスト

• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Sharp Calibrated Gaussian Processes [58.94710279601622]
  キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。 本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。 我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-23T12:17:36Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Fair admission risk prediction with proportional multicalibration [0.16249424686052708]
  マルチキャリブレーション制約は、柔軟に定義されたサブポピュレーション間のキャリブレーション誤差を補正する。 意思決定者は特定のグループに対するモデル予測を信頼するか、不信にするかを学ぶことができる。 本稿では,グループ間および予測ビン内における正の校正誤差を制限する基準である比例多重校正を提案する。
  論文  参考訳（メタデータ） (2022-09-29T08:15:29Z)
• Modular Conformal Calibration [80.33410096908872]
  回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。 このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。 我々は17の回帰データセットに対するMCCの実証的研究を行った。
  論文  参考訳（メタデータ） (2022-06-23T03:25:23Z)
• Low-Degree Multicalibration [16.99099840073075]
  低Degree Multicalibration は、ますます強力なマルチグループフェアネスの概念の階層を定義する。 低次マルチキャリブレーションは完全マルチキャリブレーションよりもはるかに効率的であることを示す。 我々の研究は、低次多重校正がスイートスポット、ペアリング計算とサンプル効率を強い公正性と精度保証で表しているという説得力のある証拠を提示する。
  論文  参考訳（メタデータ） (2022-03-02T17:24:55Z)
• MBCT: Tree-Based Feature-Aware Binning for Individual Uncertainty Calibration [29.780204566046503]
  我々はMultiple Boosting Trees (MBCT)と呼ばれる特徴認識型バイナリフレームワークを提案する。 MBCTは非単調であり,学習可能なビンニング方式と個々のキャリブレーションにより,順序精度が向上する可能性がある。 その結果,本手法はキャリブレーション誤差と順序精度の両方で競合するモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-02-09T08:59:16Z)
• Should Ensemble Members Be Calibrated? [16.331175260764]
  現代のディープニューラルネットワークはしばしば、キャリブレーションが不十分であることが観察される。 ディープラーニングアプローチは、多数のモデルパラメータを利用する。 本稿では,キャリブレーション方式の深層アンサンブルへの適用について検討する。
  論文  参考訳（メタデータ） (2021-01-13T23:59:00Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Quantile Regularization: Towards Implicit Calibration of Regression Models [30.872605139672086]
  2つのCDF間の累積KL分散として定義される新しい量子正規化器に基づく回帰モデルの校正法を提案する。 提案手法は,Dropout VI や Deep Ensembles といった手法を用いて学習した回帰モデルのキャリブレーションを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2020-02-28T16:53:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。