論文の概要: Better Boosting with Bandits for Online Learning
- arxiv url: http://arxiv.org/abs/2001.06105v1
- Date: Thu, 16 Jan 2020 22:48:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 23:44:55.571302
- Title: Better Boosting with Bandits for Online Learning
- Title（参考訳）: オンライン学習のためのバンディットの強化
- Authors: Nikolaos Nikolaou, Joseph Mellor, Nikunj C. Oza, Gavin Brown
- Abstract要約: 学習において、校正機能を訓練するためのトレーニングデータの一部を保存して校正を行う。
オンライン設定では、各ラウンドで決定を行う必要がある: 新しい例は、アンサンブルのパラメータまたはキャリブレータのパラメータを更新するために使用される。
確率推定の観点で, 未校正, ナチカル校正のオンラインブースティングアンサンブルよりも優れた性能を示す。
- 参考スコア（独自算出の注目度）: 0.5543867614999908
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Probability estimates generated by boosting ensembles are poorly calibrated
because of the margin maximization nature of the algorithm. The outputs of the
ensemble need to be properly calibrated before they can be used as probability
estimates. In this work, we demonstrate that online boosting is also prone to
producing distorted probability estimates. In batch learning, calibration is
achieved by reserving part of the training data for training the calibrator
function. In the online setting, a decision needs to be made on each round:
shall the new example(s) be used to update the parameters of the ensemble or
those of the calibrator. We proceed to resolve this decision with the aid of
bandit optimization algorithms. We demonstrate superior performance to
uncalibrated and naively-calibrated on-line boosting ensembles in terms of
probability estimation. Our proposed mechanism can be easily adapted to other
tasks(e.g. cost-sensitive classification) and is robust to the choice of
hyperparameters of both the calibrator and the ensemble.
- Abstract（参考訳）: アンサンブルの強化によって生じる確率推定は,アルゴリズムのマージン最大化特性のため,調整が不十分である。
アンサンブルの出力は、確率推定として使用できる前に適切に調整する必要がある。
本研究では,オンラインブースティングが歪んだ確率推定を発生させる可能性を示す。
バッチ学習では、校正機能を訓練するためのトレーニングデータの一部を保存して校正を行う。
オンライン設定では、各ラウンドで決定を行う必要がある: 新しい例は、アンサンブルのパラメータまたはキャリブレータのパラメータを更新するために使用される。
我々は,この決定をバンディット最適化アルゴリズムを用いて解決する。
確率推定の面では, オンラインブースティングアンサンブルの非キャリブレーションおよびナイーブキャリブレーションよりも優れた性能を示す。
提案手法は他のタスク(例えばコストに敏感な分類)にも容易に適用でき、キャリブレータとアンサンブルの両方のハイパーパラメータの選択にロバストである。
関連論文リスト
- Optimizing Estimators of Squared Calibration Errors in Classification [2.3020018305241337]
本稿では,2乗キャリブレーション誤差の推定器の比較と最適化を可能にする平均二乗誤差に基づくリスクを提案する。
キャリブレーション誤差を推定する際のトレーニングバリデーションテストパイプラインを提案する。
論文 参考訳（メタデータ） (2024-10-09T15:58:06Z) - Calibration-Disentangled Learning and Relevance-Prioritized Reranking for Calibrated Sequential Recommendation [18.913912876509187]
キャリブレーションされたレコメンデーションは、レコメンデーション内のカテゴリのパーソナライズされた比率を維持することを目的としている。
従来手法では、モデルトレーニング後のレコメンデーションをキャリブレーションするために、リグレードアルゴリズムを利用するのが一般的だった。
本稿では、シーケンシャルレコメンデーションのキャリブレーションのための新しいアプローチであるLeapRecを提案する。
論文 参考訳（メタデータ） (2024-08-04T22:23:09Z) - Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。
我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
論文 参考訳（メタデータ） (2024-05-22T18:52:09Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳（メタデータ） (2023-10-31T06:19:40Z) - Hidden Heterogeneity: When to Choose Similarity-Based Calibration [12.788224825185633]
ブラックボックスキャリブレーション法は、キャリブレーションが予測精度を向上させるサブポレーションを検出することができない。
隠れ不均一性(HH)の定量的尺度を提案する。
実験により, 類似度に基づくキャリブレーション法によって達成されたキャリブレーションの改善は, 現在あるHH量と相関し, 十分なキャリブレーションデータを得た場合, 大域的なキャリブレーション法で達成したキャリブレーションを概ね上回っていることがわかった。
論文 参考訳（メタデータ） (2022-02-03T20:43:25Z) - Online Calibrated and Conformal Prediction Improves Bayesian Optimization [10.470326550507117]
本稿では,モデルに基づく意思決定やベイズ最適化における不確実性について検討する。
しかし、キャリブレーションの維持は、データが定常的ではなく、我々の行動に依存する場合、困難である。
我々は、オンライン学習に基づく簡単なアルゴリズムを用いて、非i.d.データのキャリブレーションを確実に維持することを提案する。
論文 参考訳（メタデータ） (2021-12-08T23:26:23Z) - Calibrating Predictions to Decisions: A Novel Approach to Multi-Class
Calibration [118.26862029820447]
我々は、下流の意思決定者に対して、予測された分布と真の分布を区別不能にする必要がある新しい概念、即時校正を導入します。
決定キャリブレーションは、皮膚病変の判定と、現代のニューラルネットワークを用いたImageNet分類を改善する。
論文 参考訳（メタデータ） (2021-07-12T20:17:28Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳（メタデータ） (2021-02-22T07:22:12Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳（メタデータ） (2020-06-29T21:50:07Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳（メタデータ） (2020-06-23T07:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。