論文の概要: The Benefit of Being Bayesian in Online Conformal Prediction

• arxiv url: http://arxiv.org/abs/2410.02561v1
• Date: Thu, 3 Oct 2024 15:04:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 02:31:52.753324
• Title: The Benefit of Being Bayesian in Online Conformal Prediction
• Title（参考訳）: オンラインコンフォーマル予測におけるベイズ的ベネフィット
• Authors: Zhiyu Zhang, Zhou Lu, Heng Yang,
• Abstract要約: ブラックボックス機械学習モデルを用いて、有効な信頼セットのオンライン構築について検討する。 対象の信頼レベルを量子レベルに変換することにより、逐次明らかにされたデータシーケンスの量子レベルを予測することで、問題を小さくすることができる。
• 参考スコア（独自算出の注目度）: 7.713245413733777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Based on the framework of Conformal Prediction (CP), we study the online construction of valid confidence sets given a black-box machine learning model. By converting the target confidence levels into quantile levels, the problem can be reduced to predicting the quantiles (in hindsight) of a sequentially revealed data sequence. Two very different approaches have been studied previously. (i) Direct approach: Assuming the data sequence is iid or exchangeable, one could maintain the empirical distribution of the observed data as an algorithmic belief, and directly predict its quantiles. (ii) Indirect approach: As statistical assumptions often do not hold in practice, a recent trend is to consider the adversarial setting and apply first-order online optimization to moving quantile losses (Gibbs & Cand\`es, 2021). It requires knowing the target quantile level beforehand, and suffers from certain validity issues on the obtained confidence sets, due to the associated loss linearization. This paper presents a novel Bayesian CP framework that combines their strengths. Without any statistical assumption, it is able to both: (i) answer multiple arbitrary confidence level queries online, with provably low regret; and (ii) overcome the validity issues suffered by first-order optimization baselines, due to being "data-centric" rather than "iterate-centric". From a technical perspective, our key idea is to regularize the algorithmic belief of the above direct approach by a Bayesian prior, which "robustifies" it by simulating a non-linearized Follow the Regularized Leader (FTRL) algorithm on the output. For statisticians, this can be regarded as an online adversarial view of Bayesian inference. Importantly, the proposed belief update backbone is shared by prediction heads targeting different confidence levels, bringing practical benefits analogous to U-calibration (Kleinberg et al., 2023).
• Abstract（参考訳）: コンフォーマル予測(CP)の枠組みに基づいて,ブラックボックス機械学習モデルを用いて,有効信頼セットのオンライン構築について検討する。 ターゲットの信頼レベルを量子レベルに変換することで、問題を減らし、シーケンシャルに明らかにされたデータシーケンスの量子(後部)を予測する。 これまで2つの非常に異なるアプローチが研究されてきた。 (i)直接アプローチ:データシーケンスがイドまたは交換可能であると仮定すると、観測されたデータの経験的分布をアルゴリズム的信念として維持し、その量子化を直接予測することができる。 (二)間接的アプローチ:統計的仮定が実際は成立しないことが多いため、近年の傾向は、敵対的設定を考慮し、量子的損失の移動に一階オンライン最適化を適用することである(Gibbs & Cand\`es, 2021)。 対象の量子レベルを事前に知る必要があり、関連する損失線形化のため、得られた信頼度セットに対する一定の妥当性の問題に悩まされる。 本稿では,その強みを組み合わせた新しいベイズCPフレームワークを提案する。 統計的仮定がなければ、両方が成り立つ。 (i)オンライン上で複数の任意の信頼度レベルの質問に回答すること (II)「データ中心」ではなく「データ中心」であるため、一階最適化ベースラインが抱える妥当性を克服する。 技術的観点から言えば、我々はベイズ先行者による上記の直接アプローチのアルゴリズム的信念を正則化し、非線型化 Follow the Regularized Leader (FTRL) アルゴリズムを出力上でシミュレートすることでそれを「悪用」する。 統計学者にとって、これはベイズ推定のオンライン逆説と見なすことができる。 重要な点として、提案された信念更新バックボーンは、異なる信頼レベルをターゲットにした予測ヘッドによって共有され、U-キャリブレーションに類似した実用的なメリットをもたらす(Kleinberg et al , 2023)。

関連論文リスト

• Sequential Manipulation Against Rank Aggregation: Theory and Algorithm [119.57122943187086]
  脆弱なデータ収集プロセスに対するオンライン攻撃を活用します。 ゲーム理論の観点からは、対決シナリオは分布的に堅牢なゲームとして定式化される。 提案手法は,ランクアグリゲーション手法の結果を逐次的に操作する。
  論文  参考訳（メタデータ） (2024-07-02T03:31:21Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression [91.3373131262391]
  不確かさが唯一の確実性である。 伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。 現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
  論文  参考訳（メタデータ） (2021-03-25T06:56:09Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Estimation and Applications of Quantiles in Deep Binary Classification [0.0]
  チェック損失に基づく量子回帰は統計学において広く使われている推論パラダイムである。 二項分類設定におけるチェック損失の類似について考察する。 我々は、予測が信頼できるかどうかを判断するために使用できる個別信頼度スコアを開発する。
  論文  参考訳（メタデータ） (2021-02-09T07:07:42Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Fair Classification via Unconstrained Optimization [0.0]
  我々はベイズ最適公正学習規則がベイズ回帰器に対するグループワイドしきい値の規則のままであることを示す。 提案アルゴリズムは,任意のブラックボックス機械学習モデルに適用可能である。
  論文  参考訳（メタデータ） (2020-05-21T11:29:05Z)
• Knowing what you know: valid and validated confidence sets in multiclass and multilabel prediction [0.8594140167290097]
  マルチクラスおよびマルチラベル問題において、有効な信頼セットを構築するための共形予測手法を開発する。 量子レグレッションのアイデアを活用することで、常に正しいカバレッジを保証すると同時に、マルチクラスとマルチラベルの予測問題に対して条件付きカバレッジを提供する手法を構築する。
  論文  参考訳（メタデータ） (2020-04-21T17:45:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。