論文の概要: Calibration Improves Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2112.04620v1
- Date: Wed, 8 Dec 2021 23:26:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-10 13:46:02.558615
- Title: Calibration Improves Bayesian Optimization
- Title（参考訳）: キャリブレーションによるベイズ最適化
- Authors: Shachi Deshpande, Volodymyr Kuleshov
- Abstract要約: 目的関数に対する後続分布の不確かさを校正する簡単なアルゴリズムを提案する。
キャリブレーションによる後方分布の不確実性推定を改善することにより、ベイズ最適化がより良い決定を下すことを示す。
- 参考スコア（独自算出の注目度）: 7.184701179854522
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian optimization is a procedure that allows obtaining the global optimum
of black-box functions and that is useful in applications such as
hyper-parameter optimization. Uncertainty estimates over the shape of the
objective function are instrumental in guiding the optimization process.
However, these estimates can be inaccurate if the objective function violates
assumptions made within the underlying model (e.g., Gaussianity). We propose a
simple algorithm to calibrate the uncertainty of posterior distributions over
the objective function as part of the Bayesian optimization process. We show
that by improving the uncertainty estimates of the posterior distribution with
calibration, Bayesian optimization makes better decisions and arrives at the
global optimum in fewer steps. We show that this technique improves the
performance of Bayesian optimization on standard benchmark functions and
hyperparameter optimization tasks.
- Abstract（参考訳）: ベイズ最適化(英: bayesian optimization)は、ブラックボックス関数のグローバル最適化を得るための手順であり、ハイパーパラメータ最適化のようなアプリケーションで有用である。
目的関数の形状に関する不確実性推定は、最適化プロセスの指針となる。
しかし、これらの推定は、対象関数が基礎となるモデル(例えばガウス性)の仮定に違反した場合、不正確である。
本研究では,目的関数に対する後方分布の不確かさをベイズ最適化法の一部として校正する簡易アルゴリズムを提案する。
キャリブレーションによる後方分布の不確実性の推定を改善することにより、ベイズ最適化はより良い決定を行い、より少ないステップで世界最適に到達することを示す。
この手法により,標準ベンチマーク関数とハイパーパラメータ最適化タスクにおけるベイズ最適化の性能が向上することを示す。
関連論文リスト
- When Does Optimizing a Proper Loss Yield Calibration? [12.684962113589515]
局所最適性を持つ任意の予測器が滑らかなキャリブレーションを満たすことを示す。
また,局所最適度とキャリブレーション誤差の関連性も両立していることが示唆された。
論文 参考訳（メタデータ） (2023-05-30T05:53:34Z) - Sharp Calibrated Gaussian Processes [58.94710279601622]
キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。
本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。
我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
論文 参考訳（メタデータ） (2023-02-23T12:17:36Z) - Bayesian Optimization with Conformal Prediction Sets [44.565812181545645]
コンフォーマル予測(Conformal prediction)は、不確実な定量化手法であり、不特定モデルに対してもカバレッジを保証する。
本稿では,モデルの妥当性が保証された検索空間の領域にクエリを誘導する共形ベイズ最適化を提案する。
多くの場合、クエリのカバレッジはサンプル効率を損なうことなく大幅に改善できる。
論文 参考訳（メタデータ） (2022-10-22T17:01:05Z) - Learning Prediction Intervals for Regression: Generalization and
Calibration [12.576284277353606]
不確実性定量のための回帰における予測間隔の生成について検討する。
我々は一般学習理論を用いて、リプシッツ連続性とVC-サブグラフクラスを含む最適性と実現可能性のトレードオフを特徴づける。
我々は既存のベンチマークと比べてテスト性能の点で、区間生成とキャリブレーションアルゴリズムの強みを実証的に示している。
論文 参考訳（メタデータ） (2021-02-26T17:55:30Z) - Self-Tuning Stochastic Optimization with Curvature-Aware Gradient
Filtering [53.523517926927894]
サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。
モデルに基づく手続きが雑音勾配設定に収束することを証明する。
これは自己チューニング二次体を構築するための興味深いステップである。
論文 参考訳（メタデータ） (2020-11-09T22:07:30Z) - Fast Rates for Contextual Linear Optimization [52.39202699484225]
提案手法は, 下流決定性能を直接最適化する手法よりもはるかに高速な, 後悔の収束率を実現する。
予測モデルは、既存のツールを使ったトレーニングが簡単かつ高速で、解釈が簡単で、私たちが示しているように、非常にうまく機能する決定につながる。
論文 参考訳（メタデータ） (2020-11-05T18:43:59Z) - Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。
また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
論文 参考訳（メタデータ） (2020-08-21T18:43:37Z) - Automatically Learning Compact Quality-aware Surrogates for Optimization
Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。
最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。
我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文 参考訳（メタデータ） (2020-06-18T19:11:54Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z) - Uncertainty Quantification for Bayesian Optimization [12.433600693422235]
目的関数の最大点(あるいは値)の信頼領域を構築することにより、ベイズ最適化アルゴリズムの出力不確実性を評価する新しい手法を提案する。
我々の理論は、既存のシーケンシャルサンプリングポリシーと停止基準に対する統一的な不確実性定量化フレームワークを提供する。
論文 参考訳（メタデータ） (2020-02-04T22:48:07Z) - Better Boosting with Bandits for Online Learning [0.5543867614999908]
学習において、校正機能を訓練するためのトレーニングデータの一部を保存して校正を行う。
オンライン設定では、各ラウンドで決定を行う必要がある: 新しい例は、アンサンブルのパラメータまたはキャリブレータのパラメータを更新するために使用される。
確率推定の観点で, 未校正, ナチカル校正のオンラインブースティングアンサンブルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2020-01-16T22:48:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。