論文の概要: "Calibeating": Beating Forecasters at Their Own Game
- arxiv url: http://arxiv.org/abs/2209.04892v1
- Date: Sun, 11 Sep 2022 15:14:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-13 14:24:41.758783
- Title: "Calibeating": Beating Forecasters at Their Own Game
- Title（参考訳）: キャリビーティング」:自分のゲームでフォアキャスターに勝つ
- Authors: Dean P. Foster and Sergiu Hart
- Abstract要約: ブライアスコアはキャリブレーションスコアとリファインメントスコアの合計である。
このことは、専門知識を失うことなくキャリブレーションを得られるかどうかという問題を提起する。
我々は、決定論的オンライン手続きによって、どんな予測にも簡単に対応できる方法を提供する。
- 参考スコア（独自算出の注目度）: 8.858351266850544
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In order to identify expertise, forecasters should not be tested by their
calibration score, which can always be made arbitrarily small, but rather by
their Brier score. The Brier score is the sum of the calibration score and the
refinement score; the latter measures how good the sorting into bins with the
same forecast is, and thus attests to "expertise." This raises the question of
whether one can gain calibration without losing expertise, which we refer to as
"calibeating." We provide an easy way to calibeat any forecast, by a
deterministic online procedure. We moreover show that calibeating can be
achieved by a stochastic procedure that is itself calibrated, and then extend
the results to simultaneously calibeating multiple procedures, and to
deterministic procedures that are continuously calibrated.
- Abstract（参考訳）: 専門知識を特定するために、予測者はキャリブレーションスコアによってテストされるべきではない。
ブライアスコア(brier score)は、キャリブレーションスコアとリファインメントスコアの合計であり、後者は、同じ予測でビンへのソートがいかに良いかを測定し、したがって「熟練」することを証明する。
このことは、専門知識を失うことなくキャリブレーションを得られるかどうかという問題を引き起こします。
決定論的オンライン手続きによって、あらゆる予測を校正する簡単な方法を提供する。
さらに, キャラブティングは, それ自体をキャラブレーションした確率的手順で行うことができ, 同時に複数のプロシージャをキャラブティングし, 連続的なキャラブレーションを行う決定的プロシージャに拡張できることを示す。
関連論文リスト
- Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。
我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
論文 参考訳（メタデータ） (2024-05-22T18:52:09Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳（メタデータ） (2023-10-31T06:19:40Z) - Boldness-Recalibration for Binary Event Predictions [0.0]
理想的には、確率予測は(i)よく校正され、(ii)正確であり、(iii)大胆な、すなわち、意思決定に十分な情報を伝達する。
キャリブレーションと大胆さの間には根本的な緊張があり、予測が過度に慎重になったらキャリブレーションの指標が高くなる可能性がある。
本研究の目的は,キャリブレーション評価のためのベイズモデル選択に基づくアプローチと,大胆度補正のための戦略を開発することである。
論文 参考訳（メタデータ） (2023-05-05T18:14:47Z) - Smooth Calibration, Leaky Forecasts, Finite Recall, and Nash Dynamics [8.858351266850544]
本稿では,近隣の予測と組み合わせることで,予測器の良さを測るキャリブレーションスコアを円滑に評価することを提案する。
決定論的手続きによってスムーズな校正が保証されることを示す。
論文 参考訳（メタデータ） (2022-10-13T16:34:55Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳（メタデータ） (2021-02-22T07:22:12Z) - Uncertainty Quantification and Deep Ensembles [79.4957965474334]
ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。
そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。
このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
論文 参考訳（メタデータ） (2020-07-17T07:32:24Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳（メタデータ） (2020-06-29T21:50:07Z) - Individual Calibration with Randomized Forecasting [116.2086707626651]
予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。
我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
論文 参考訳（メタデータ） (2020-06-18T05:53:10Z) - Better Boosting with Bandits for Online Learning [0.5543867614999908]
学習において、校正機能を訓練するためのトレーニングデータの一部を保存して校正を行う。
オンライン設定では、各ラウンドで決定を行う必要がある: 新しい例は、アンサンブルのパラメータまたはキャリブレータのパラメータを更新するために使用される。
確率推定の観点で, 未校正, ナチカル校正のオンラインブースティングアンサンブルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2020-01-16T22:48:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。