論文の概要: Three Types of Calibration with Properties and their Semantic and Formal Relationships
- arxiv url: http://arxiv.org/abs/2504.18395v1
- Date: Fri, 25 Apr 2025 14:46:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.801296
- Title: Three Types of Calibration with Properties and their Semantic and Formal Relationships
- Title（参考訳）: 特性をもつ3種類の校正とその意味的・形式的関係
- Authors: Rabanus Derr, Jessie Finocchiaro, Robert C. Williamson,
- Abstract要約: キャリブレーションを動機づける2つの説明として,予測特性の自己実現と帰属損失の正確な推定を行う。
二項帰結集合では、両方の原型的定義は参照特性の適切な選択の下で一致する。
校正と校正の両面において,複数校正によく用いられるグループ分けの役割について論じる。
- 参考スコア（独自算出の注目度）: 7.619404259039283
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fueled by discussions around "trustworthiness" and algorithmic fairness, calibration of predictive systems has regained scholars attention. The vanilla definition and understanding of calibration is, simply put, on all days on which the rain probability has been predicted to be p, the actual frequency of rain days was p. However, the increased attention has led to an immense variety of new notions of "calibration." Some of the notions are incomparable, serve different purposes, or imply each other. In this work, we provide two accounts which motivate calibration: self-realization of forecasted properties and precise estimation of incurred losses of the decision makers relying on forecasts. We substantiate the former via the reflection principle and the latter by actuarial fairness. For both accounts we formulate prototypical definitions via properties $\Gamma$ of outcome distributions, e.g., the mean or median. The prototypical definition for self-realization, which we call $\Gamma$-calibration, is equivalent to a certain type of swap regret under certain conditions. These implications are strongly connected to the omniprediction learning paradigm. The prototypical definition for precise loss estimation is a modification of decision calibration adopted from Zhao et al. [73]. For binary outcome sets both prototypical definitions coincide under appropriate choices of reference properties. For higher-dimensional outcome sets, both prototypical definitions can be subsumed by a natural extension of the binary definition, called distribution calibration with respect to a property. We conclude by commenting on the role of groupings in both accounts of calibration often used to obtain multicalibration. In sum, this work provides a semantic map of calibration in order to navigate a fragmented terrain of notions and definitions.
- Abstract（参考訳）: 信頼」とアルゴリズムの公正性に関する議論によって、予測システムの校正が学者の注目を集めた。
バニラの定義とキャリブレーションの理解は、雨の確率がpであると予測されたすべての日において、雨の実際の頻度はpである。
しかし、注目度が高まると「校正」という新たな概念が多岐に及んだ。
いくつかの概念は相容れない、異なる目的を果たす、あるいはお互いを暗示する。
本研究では,予測特性の自己実現と,予測に依存する意思決定者の帰属損失の正確な推定という,キャリブレーションの動機となる2つの説明を提供する。
我々は前者を反射原理により、後者をアクチュアリフェアネスにより、下位に定式化する。
どちらのアカウントに対しても、平均あるいは中央値である結果分布の$\Gamma$によって、原型定義を定式化します。
自己実現の原型的定義は、$\Gamma$-calibrationと呼ばれ、ある条件下でのある種のスワップ後悔と同値である。
これらの意味は全方位学習パラダイムと強く結びついている。
正確な損失推定のための原型的定義は、Zhao et al [73] から採用された決定校正の修正である。
二項帰結集合では、両方の原型的定義は参照特性の適切な選択の下で一致する。
高次元の結果集合に対して、両方の原型的定義は、性質に関する分布キャリブレーションと呼ばれる二項定義の自然な拡張によって仮定できる。
校正と校正の両面において,複数校正によく用いられるグループ分けの役割について論じる。
まとめると、この研究は、概念と定義の断片化された地形をナビゲートするためにキャリブレーションのセマンティックマップを提供する。
関連論文リスト
- Calibration through the Lens of Interpretability [3.9962751777898955]
キャリブレーションは、分類精度の上に有用なラベルの確率推定が必要な場合、頻繁に呼び出される概念である。
本研究では,キャリブレーションの概念に関する公理的研究を開始する。
キャリブレーションされたモデルの望ましい特性とそれに対応する評価指標をカタログ化し,その実現可能性と対応性について分析する。
論文 参考訳（メタデータ） (2024-12-01T19:28:16Z) - Scoring Rules and Calibration for Imprecise Probabilities [7.289672463326423]
我々は、適切なスコアリングルールとキャリブレーションが2つの異なるゴールを果たすと主張している。
本稿では,機械学習の実践における理論的洞察,特に分布ロバスト性における損失関数の選択に関する微妙な落とし穴を例示する。
論文 参考訳（メタデータ） (2024-10-30T13:29:47Z) - Orthogonal Causal Calibration [55.28164682911196]
我々は、任意の損失$ell$に対して、任意の因果パラメータのキャリブレーション誤差$theta$の一般的な上限を証明した。
我々は、因果校正のための2つのサンプル分割アルゴリズムの収束解析に境界を用いる。
論文 参考訳（メタデータ） (2024-06-04T03:35:25Z) - Consistent and Asymptotically Unbiased Estimation of Proper Calibration
Errors [23.819464242327257]
本稿では,全ての適切な校正誤差と精錬項を一貫した推定を可能にする手法を提案する。
ニューラルネットワークにおける情報単調性を意味するf-分節と精製の関係を実証する。
本実験は,提案した推定器のクレーム特性を検証し,特に関心のキャリブレーション誤差によって,ポストホックキャリブレーション法の選択が決定されるべきであることを示唆した。
論文 参考訳（メタデータ） (2023-12-14T01:20:08Z) - Confidence and Dispersity Speak: Characterising Prediction Matrix for
Unsupervised Accuracy Estimation [51.809741427975105]
この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。
我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。
核の基準は既存の手法よりも正確で堅牢であることを示す。
論文 参考訳（メタデータ） (2023-02-02T13:30:48Z) - An Invariant Matching Property for Distribution Generalization under
Intervened Response [19.786769414376323]
特定の特徴の推定値を追加の予測子として組み込むことにより、新しい不変性を示す。
本稿では,線形マッチングの明示的な特徴と,様々な介入条件下でのシミュレーション結果について述べる。
論文 参考訳（メタデータ） (2022-05-18T18:25:21Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Calibrating Predictions to Decisions: A Novel Approach to Multi-Class
Calibration [118.26862029820447]
我々は、下流の意思決定者に対して、予測された分布と真の分布を区別不能にする必要がある新しい概念、即時校正を導入します。
決定キャリブレーションは、皮膚病変の判定と、現代のニューラルネットワークを用いたImageNet分類を改善する。
論文 参考訳（メタデータ） (2021-07-12T20:17:28Z) - A unifying approach on bias and variance analysis for classification [6.178727203730384]
我々は、Tumer & Ghosh (T&G) の一般的なフレームワークと James のリンクを提供することを目指している。
2つのアプローチを統一することにより、0/1の損失に対して定義されたB&Vと、二乗誤差損失に対して与えられる境界分布の標準B&Vを関連付ける。
論文 参考訳（メタデータ） (2021-01-05T20:00:12Z) - Learning Disentangled Representations with Latent Variation
Predictability [102.4163768995288]
本稿では,潜在不整合表現の変動予測可能性について述べる。
逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。
本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
論文 参考訳（メタデータ） (2020-07-25T08:54:26Z) - Distribution-free binary classification: prediction sets, confidence
intervals and calibration [106.50279469344937]
分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。
固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。
我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
論文 参考訳（メタデータ） (2020-06-18T14:17:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。