論文の概要: On the Distance from Calibration in Sequential Prediction
- arxiv url: http://arxiv.org/abs/2402.07458v1
- Date: Mon, 12 Feb 2024 07:37:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 15:23:21.163417
- Title: On the Distance from Calibration in Sequential Prediction
- Title（参考訳）: 逐次予測における校正からの距離について
- Authors: Mingda Qiao, Letian Zheng
- Abstract要約: キャリブレーション距離から予測器を評価可能な逐次二分予測条件について検討する。
キャリブレーション距離は、完全キャリブレーションから逸脱する自然で直感的な尺度である。
我々は,逆選択された$T$バイナリ結果の列に対して,予測において$O(sqrtT)$キャリブレーション距離を達成できる予測アルゴリズムが存在することを証明した。
- 参考スコア（独自算出の注目度）: 4.8951183832371
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study a sequential binary prediction setting where the forecaster is
evaluated in terms of the calibration distance, which is defined as the $L_1$
distance between the predicted values and the set of predictions that are
perfectly calibrated in hindsight. This is analogous to a calibration measure
recently proposed by B{\l}asiok, Gopalan, Hu and Nakkiran (STOC 2023) for the
offline setting. The calibration distance is a natural and intuitive measure of
deviation from perfect calibration, and satisfies a Lipschitz continuity
property which does not hold for many popular calibration measures, such as the
$L_1$ calibration error and its variants.
We prove that there is a forecasting algorithm that achieves an $O(\sqrt{T})$
calibration distance in expectation on an adversarially chosen sequence of $T$
binary outcomes. At the core of this upper bound is a structural result showing
that the calibration distance is accurately approximated by the lower
calibration distance, which is a continuous relaxation of the former. We then
show that an $O(\sqrt{T})$ lower calibration distance can be achieved via a
simple minimax argument and a reduction to online learning on a Lipschitz
class.
On the lower bound side, an $\Omega(T^{1/3})$ calibration distance is shown
to be unavoidable, even when the adversary outputs a sequence of independent
random bits, and has an additional ability to early stop (i.e., to stop
producing random bits and output the same bit in the remaining steps).
Interestingly, without this early stopping, the forecaster can achieve a much
smaller calibration distance of $\mathrm{polylog}(T)$.
- Abstract（参考訳）: 本研究では,予測値と予測値との$l_1$距離と定義したキャリブレーション距離を用いて予測者が評価される逐次二進予測設定について検討する。
これは、最近B{\l}asiok, Gopalan, Hu and Nakkiran (STOC 2023)によって提案されたオフライン設定の校正測度に類似している。
キャリブレーション距離は、完全キャリブレーションから逸脱する自然な直感的な尺度であり、$L_1$キャリブレーション誤差やその変量のような多くの一般的なキャリブレーション測度を持たないリプシッツ連続性特性を満たす。
我々は、逆選択された$T$バイナリ結果の列に対して、予測において$O(\sqrt{T})$キャリブレーション距離を達成する予測アルゴリズムが存在することを証明した。
この上界のコアは、キャリブレーション距離が、前者の連続緩和である下方キャリブレーション距離によって正確に近似されていることを示す構造的な結果である。
すると、$O(\sqrt{T})$低いキャリブレーション距離は、単純なミニマックス引数とリプシッツ類でのオンライン学習への還元によって達成できることを示す。
下限側では、敵が独立したランダムビット列を出力する場合でも、$\omega(t^{1/3})$キャリブレーション距離が避けられないことが示され、早期停止機能(すなわち、乱数ビットの生成を停止し、残りのステップで同じビットを出力する)を有する。
興味深いことに、この早期停止がなければ、予測器はより小さなキャリブレーション距離$\mathrm{polylog}(T)$を達成できる。
関連論文リスト
- Breaking the $T^{2/3}$ Barrier for Sequential Calibration [26.563792462828726]
バイナリシーケンスのオンライン校正予測の問題について検討する。
Foster & Vohra (1998) は、$O(T2/3)$キャリブレーション誤差を$T$タイムステップ後に引き起こし、$Omega(T1/2)$の低い境界を示した。
Qiao & Valiant (2021) は、符号保存と呼ばれるゲームを導入して下限を$Omega(T0.528)$に改善した。
論文 参考訳（メタデータ） (2024-06-19T16:19:39Z) - Orthogonal Causal Calibration [55.28164682911196]
我々は、任意の損失$ell$に対して、任意の因果パラメータのキャリブレーション誤差$theta$の一般的な上限を証明した。
我々は、因果校正のための2つのサンプル分割アルゴリズムの収束解析に境界を用いる。
論文 参考訳（メタデータ） (2024-06-04T03:35:25Z) - Testing Calibration in Nearly-Linear Time [14.099477870728595]
プロパティテストのレンズによるキャリブレーションのアルゴリズム的な研究に焦点をあてる。
実験的なスムーズなキャリブレーション線形プログラムは,高構造グラフ上の最小コストフローの例として再計算できる,という簡単な観察を行う。
我々は,キャリブレーションの標準概念を忠実に捉え,我々のアルゴリズムが大規模なサンプルサイズに対応するために効率的にスケールできることを実証する実験を行った。
論文 参考訳（メタデータ） (2024-02-20T17:53:24Z) - An Elementary Predictor Obtaining $2\sqrt{T}+1$ Distance to Calibration [4.628072661683411]
オンライン予測器は, 対向的な設定でキャリブレーションまでの距離が$O(sqrtT)$であることを示す。
キャリブレーション誤差を最大2sqrtT+1$で求める,極めて単純,効率的,決定論的アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-18T00:53:05Z) - Conformal Nucleus Sampling [67.5232384936661]
最上位のp$集合が、様々な言語文脈における確率的意味と実際に一致しているかを評価する。
OPTモデルは過信であり、キャリブレーションはモデルサイズで適度な逆スケーリングを示す。
論文 参考訳（メタデータ） (2023-05-04T08:11:57Z) - A Unifying Theory of Distance from Calibration [9.959025631339982]
完璧なキャリブレーションからの距離を定量化する方法については合意がない。
本研究では, キャリブレーションからの距離に関する基礎的な概念を提案する。
フレームワークの適用により、一貫性があり、効率的に推定できる3つのキャリブレーションを識別する。
論文 参考訳（メタデータ） (2022-11-30T10:38:24Z) - A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。
トレーニングにおけるPLMの校正性能の動的変化について検討する。
最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
論文 参考訳（メタデータ） (2022-10-31T21:31:07Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳（メタデータ） (2022-07-13T14:13:49Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳（メタデータ） (2022-03-03T16:58:54Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳（メタデータ） (2021-02-22T07:22:12Z) - Stronger Calibration Lower Bounds via Sidestepping [18.383889039268222]
予測器が1ビットあたり$T$のシーケンスを1つずつ観測するオンラインバイナリ予測設定について検討する。
予測器は、[0, 1]$の各$pに対して、予測器が確率$p$を予測する$n_p$ビットのうち、$p cdot n_p$に対して実際に$p cdot n_p$と等しい場合、よく校正される。
キャリブレーション誤差は$sum_p |m_p - p n_p|$と定義され、予測器が適切に校正されない範囲を定量化する。
論文 参考訳（メタデータ） (2020-12-07T05:29:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。