論文の概要: Online Calibrated and Conformal Prediction Improves Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2112.04620v4
• Date: Mon, 22 Apr 2024 11:40:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 01:49:47.041111
• Title: Online Calibrated and Conformal Prediction Improves Bayesian Optimization
• Title（参考訳）: オンラインキャリブレーションとコンフォーマル予測はベイズ最適化を改善する
• Authors: Shachi Deshpande, Charles Marx, Volodymyr Kuleshov,
• Abstract要約: 本稿では,モデルに基づく意思決定やベイズ最適化における不確実性について検討する。 しかし、キャリブレーションの維持は、データが定常的ではなく、我々の行動に依存する場合、困難である。 我々は、オンライン学習に基づく簡単なアルゴリズムを用いて、非i.d.データのキャリブレーションを確実に維持することを提案する。
• 参考スコア（独自算出の注目度）: 10.470326550507117
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate uncertainty estimates are important in sequential model-based decision-making tasks such as Bayesian optimization. However, these estimates can be imperfect if the data violates assumptions made by the model (e.g., Gaussianity). This paper studies which uncertainties are needed in model-based decision-making and in Bayesian optimization, and argues that uncertainties can benefit from calibration -- i.e., an 80% predictive interval should contain the true outcome 80% of the time. Maintaining calibration, however, can be challenging when the data is non-stationary and depends on our actions. We propose using simple algorithms based on online learning to provably maintain calibration on non-i.i.d. data, and we show how to integrate these algorithms in Bayesian optimization with minimal overhead. Empirically, we find that calibrated Bayesian optimization converges to better optima in fewer steps, and we demonstrate improved performance on standard benchmark functions and hyperparameter optimization tasks.
• Abstract（参考訳）: ベイズ最適化のような逐次モデルに基づく意思決定タスクでは、正確な不確実性推定が重要である。 しかし、これらの推定は、データがモデル(例えばガウス性)の仮定に違反している場合、不完全である。 モデルに基づく意思決定やベイズ最適化において不確実性が必要な研究を行い、不確実性はキャリブレーションの恩恵を受けることができる、すなわち80%の予測区間は真の結果の80%を含むべきであると論じる。 しかし、キャリブレーションの維持は、データが定常的ではなく、我々の行動に依存する場合、困難である。 我々は、オンライン学習に基づく単純なアルゴリズムを用いて、非I.D.データのキャリブレーションを確実に維持することを提案し、これらのアルゴリズムをベイズ最適化に最小限のオーバーヘッドで組み込む方法を示す。 実験により, ベイズ最適化の最適化精度が向上し, 標準ベンチマーク関数やハイパーパラメータ最適化タスクの性能が向上することが実証された。

関連論文リスト

• When Does Optimizing a Proper Loss Yield Calibration? [12.684962113589515]
  局所最適性を持つ任意の予測器が滑らかなキャリブレーションを満たすことを示す。 また,局所最適度とキャリブレーション誤差の関連性も両立していることが示唆された。
  論文  参考訳（メタデータ） (2023-05-30T05:53:34Z)
• Sharp Calibrated Gaussian Processes [58.94710279601622]
  キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。 本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。 我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-23T12:17:36Z)
• Bayesian Optimization with Conformal Prediction Sets [44.565812181545645]
  コンフォーマル予測(Conformal prediction)は、不確実な定量化手法であり、不特定モデルに対してもカバレッジを保証する。 本稿では,モデルの妥当性が保証された検索空間の領域にクエリを誘導する共形ベイズ最適化を提案する。 多くの場合、クエリのカバレッジはサンプル効率を損なうことなく大幅に改善できる。
  論文  参考訳（メタデータ） (2022-10-22T17:01:05Z)
• Learning Prediction Intervals for Regression: Generalization and Calibration [12.576284277353606]
  不確実性定量のための回帰における予測間隔の生成について検討する。 我々は一般学習理論を用いて、リプシッツ連続性とVC-サブグラフクラスを含む最適性と実現可能性のトレードオフを特徴づける。 我々は既存のベンチマークと比べてテスト性能の点で、区間生成とキャリブレーションアルゴリズムの強みを実証的に示している。
  論文  参考訳（メタデータ） (2021-02-26T17:55:30Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• Fast Rates for Contextual Linear Optimization [52.39202699484225]
  提案手法は, 下流決定性能を直接最適化する手法よりもはるかに高速な, 後悔の収束率を実現する。 予測モデルは、既存のツールを使ったトレーニングが簡単かつ高速で、解釈が簡単で、私たちが示しているように、非常にうまく機能する決定につながる。
  論文  参考訳（メタデータ） (2020-11-05T18:43:59Z)
• Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
  本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。 また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
  論文  参考訳（メタデータ） (2020-08-21T18:43:37Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Uncertainty Quantification for Bayesian Optimization [12.433600693422235]
  目的関数の最大点(あるいは値)の信頼領域を構築することにより、ベイズ最適化アルゴリズムの出力不確実性を評価する新しい手法を提案する。 我々の理論は、既存のシーケンシャルサンプリングポリシーと停止基準に対する統一的な不確実性定量化フレームワークを提供する。
  論文  参考訳（メタデータ） (2020-02-04T22:48:07Z)
• Better Boosting with Bandits for Online Learning [0.5543867614999908]
  学習において、校正機能を訓練するためのトレーニングデータの一部を保存して校正を行う。 オンライン設定では、各ラウンドで決定を行う必要がある: 新しい例は、アンサンブルのパラメータまたはキャリブレータのパラメータを更新するために使用される。 確率推定の観点で, 未校正, ナチカル校正のオンラインブースティングアンサンブルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-01-16T22:48:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。