論文の概要: On the Distance from Calibration in Sequential Prediction

• arxiv url: http://arxiv.org/abs/2402.07458v2
• Date: Mon, 27 May 2024 05:25:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 07:25:03.174860
• Title: On the Distance from Calibration in Sequential Prediction
• Title（参考訳）: シークエンシャル予測における校正からの距離について
• Authors: Mingda Qiao, Letian Zheng,
• Abstract要約: キャリブレーション距離から予測器を評価可能な逐次二分予測条件について検討する。 キャリブレーション距離は、完全キャリブレーションから逸脱する自然で直感的な尺度である。 我々は,逆選択された$T$バイナリ結果の列に対して,予測において$O(sqrtT)$キャリブレーション距離を達成できる予測アルゴリズムが存在することを証明した。
• 参考スコア（独自算出の注目度）: 4.14360329494344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study a sequential binary prediction setting where the forecaster is evaluated in terms of the calibration distance, which is defined as the $L_1$ distance between the predicted values and the set of predictions that are perfectly calibrated in hindsight. This is analogous to a calibration measure recently proposed by B{\l}asiok, Gopalan, Hu and Nakkiran (STOC 2023) for the offline setting. The calibration distance is a natural and intuitive measure of deviation from perfect calibration, and satisfies a Lipschitz continuity property which does not hold for many popular calibration measures, such as the $L_1$ calibration error and its variants. We prove that there is a forecasting algorithm that achieves an $O(\sqrt{T})$ calibration distance in expectation on an adversarially chosen sequence of $T$ binary outcomes. At the core of this upper bound is a structural result showing that the calibration distance is accurately approximated by the lower calibration distance, which is a continuous relaxation of the former. We then show that an $O(\sqrt{T})$ lower calibration distance can be achieved via a simple minimax argument and a reduction to online learning on a Lipschitz class. On the lower bound side, an $\Omega(T^{1/3})$ calibration distance is shown to be unavoidable, even when the adversary outputs a sequence of independent random bits, and has an additional ability to early stop (i.e., to stop producing random bits and output the same bit in the remaining steps). Interestingly, without this early stopping, the forecaster can achieve a much smaller calibration distance of $\mathrm{polylog}(T)$.
• Abstract（参考訳）: 本研究では、予測器をキャリブレーション距離で評価し、予測値と完全にキャリブレーションされた予測セットとの間の距離を$L_1$と定義する。 これは、最近B{\l}asiok, Gopalan, Hu and Nakkiran (STOC 2023)によって提案されたオフライン設定の校正測度に類似している。 キャリブレーション距離は完全キャリブレーションから逸脱する自然な直感的な尺度であり、$L_1$キャリブレーション誤差やその変量のような多くの一般的なキャリブレーション測度を保たないリプシッツ連続性特性を満たす。 我々は、逆選択された$T$バイナリ結果の列に対して、予測において$O(\sqrt{T})$キャリブレーション距離を達成する予測アルゴリズムが存在することを証明した。 この上界のコアは、キャリブレーション距離が、前者の連続緩和である下方キャリブレーション距離によって正確に近似されていることを示す構造的な結果である。 すると、$O(\sqrt{T})$低いキャリブレーション距離は、単純なミニマックス引数とリプシッツ類でのオンライン学習への還元によって達成できることを示す。 下界側では、$\Omega(T^{1/3})$キャリブレーション距離は、敵が独立したランダムビットの列を出力しても避けられないことが示され、早い段階で停止する(すなわち、ランダムビットの生成を停止し、残りのステップで同じビットを出力する)。 興味深いことに、この早期停止がなければ、予測器はより小さなキャリブレーション距離$\mathrm{polylog}(T)$を達成できる。

関連論文リスト

• Orthogonal Causal Calibration [55.28164682911196]
  我々は、任意の損失$ell$に対して、任意の因果パラメータのキャリブレーション誤差$theta$の一般的な上限を証明した。 我々は、因果校正のための2つのサンプル分割アルゴリズムの収束解析に境界を用いる。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• Testing Calibration in Nearly-Linear Time [14.099477870728595]
  プロパティテストのレンズによるキャリブレーションのアルゴリズム的な研究に焦点をあてる。 実験的なスムーズなキャリブレーション線形プログラムは,高構造グラフ上の最小コストフローの例として再計算できる,という簡単な観察を行う。 我々は,キャリブレーションの標準概念を忠実に捉え,我々のアルゴリズムが大規模なサンプルサイズに対応するために効率的にスケールできることを実証する実験を行った。
  論文  参考訳（メタデータ） (2024-02-20T17:53:24Z)
• An Elementary Predictor Obtaining $2\sqrt{T}$ Distance to Calibration [5.055836904416026]
  オンライン予測器は, 対向的な設定でキャリブレーションまでの距離が$O(sqrtT)$であることを示す。 極端に単純で効率的で決定論的なアルゴリズムで、キャリブレーション誤差から最大2sqrtT$までの距離を求める。
  論文  参考訳（メタデータ） (2024-02-18T00:53:05Z)
• Conformal Nucleus Sampling [67.5232384936661]
  最上位のp$集合が、様々な言語文脈における確率的意味と実際に一致しているかを評価する。 OPTモデルは過信であり、キャリブレーションはモデルサイズで適度な逆スケーリングを示す。
  論文  参考訳（メタデータ） (2023-05-04T08:11:57Z)
• A Unifying Theory of Distance from Calibration [9.959025631339982]
  完璧なキャリブレーションからの距離を定量化する方法については合意がない。 本研究では, キャリブレーションからの距離に関する基礎的な概念を提案する。 フレームワークの適用により、一貫性があり、効率的に推定できる3つのキャリブレーションを識別する。
  論文  参考訳（メタデータ） (2022-11-30T10:38:24Z)
• A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
  事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。 トレーニングにおけるPLMの校正性能の動的変化について検討する。 最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
  論文  参考訳（メタデータ） (2022-10-31T21:31:07Z)
• A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
  ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。 ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。 提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
  論文  参考訳（メタデータ） (2022-10-13T15:11:11Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Stronger Calibration Lower Bounds via Sidestepping [18.383889039268222]
  予測器が1ビットあたり$T$のシーケンスを1つずつ観測するオンラインバイナリ予測設定について検討する。 予測器は、[0, 1]$の各$pに対して、予測器が確率$p$を予測する$n_p$ビットのうち、$p cdot n_p$に対して実際に$p cdot n_p$と等しい場合、よく校正される。 キャリブレーション誤差は$sum_p |m_p - p n_p|$と定義され、予測器が適切に校正されない範囲を定量化する。
  論文  参考訳（メタデータ） (2020-12-07T05:29:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。