論文の概要: On the role of Model Uncertainties in Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2301.05983v1
• Date: Sat, 14 Jan 2023 21:45:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 17:58:02.935636
• Title: On the role of Model Uncertainties in Bayesian Optimization
• Title（参考訳）: ベイズ最適化におけるモデル不確かさの役割について
• Authors: Jonathan Foldager, Mikkel Jordahn, Lars Kai Hansen, Michael Riis Andersen
• Abstract要約: 本稿では,BO性能(regret)と一般的なサロゲートモデルの不確実性校正の関係について検討する。 本研究は, 校正誤差と後悔の関連性を示すが, 興味深いことに, 解析におけるモデルの種類を制御した場合に, この関連は消失する。
• 参考スコア（独自算出の注目度）: 8.659630453400593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization (BO) is a popular method for black-box optimization, which relies on uncertainty as part of its decision-making process when deciding which experiment to perform next. However, not much work has addressed the effect of uncertainty on the performance of the BO algorithm and to what extent calibrated uncertainties improve the ability to find the global optimum. In this work, we provide an extensive study of the relationship between the BO performance (regret) and uncertainty calibration for popular surrogate models and compare them across both synthetic and real-world experiments. Our results confirm that Gaussian Processes are strong surrogate models and that they tend to outperform other popular models. Our results further show a positive association between calibration error and regret, but interestingly, this association disappears when we control for the type of model in the analysis. We also studied the effect of re-calibration and demonstrate that it generally does not lead to improved regret. Finally, we provide theoretical justification for why uncertainty calibration might be difficult to combine with BO due to the small sample sizes commonly used.
• Abstract（参考訳）: ベイズ最適化(BO)はブラックボックス最適化の一般的な手法であり、次にどの実験を行うかを決める際の意思決定プロセスの一部として不確実性に依存する。 しかし、BOアルゴリズムの性能に対する不確実性の影響や、どの程度のキャリブレーションされた不確実性により、グローバルな最適点を見つける能力が向上したかは、あまり研究されていない。 本研究では,人気のあるサーロゲートモデルにおけるbo性能(regret)と不確実性校正の関係を広範囲に検討し,合成実験と実世界実験の両方で比較した。 以上の結果から,ガウス過程は強い代理モデルであり,他の人気モデルよりも優れていることが示された。 以上の結果から, 校正誤差と後悔の相関は良好であるが, 分析においてモデルの種類を制御すると, この関係は消失することがわかった。 また,再校正の効果についても検討し,後悔が改善されないことを実証した。 最後に, 標本サイズが小さいため, 不確実性校正がBOと組み合わせるのが難しい理由を理論的に正当化する。

関連論文リスト

• Achieving Well-Informed Decision-Making in Drug Discovery: A Comprehensive Calibration Study using Neural Network-Based Structure-Activity Models [4.619907534483781]
  薬物と標的の相互作用を予測する計算モデルは、新しい治療薬の開発を加速するための貴重なツールである。 しかし、そのようなモデルはキャリブレーションが不十分であり、信頼性の低い不確実性推定をもたらす。 本研究では,ポストホックキャリブレーション法と不確実な定量化手法を組み合わせることで,モデルの精度とキャリブレーションを向上できることを示す。
  論文  参考訳（メタデータ） (2024-07-19T10:29:00Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Sharp Calibrated Gaussian Processes [58.94710279601622]
  キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。 本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。 我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-23T12:17:36Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Model-based Causal Bayesian Optimization [78.120734120667]
  モデルに基づく因果ベイズ最適化(MCBO)を提案する。 MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。 標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
  論文  参考訳（メタデータ） (2022-11-18T14:28:21Z)
• Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
  予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。 実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-10-07T02:12:34Z)
• Online Calibrated and Conformal Prediction Improves Bayesian Optimization [10.470326550507117]
  本稿では,モデルに基づく意思決定やベイズ最適化における不確実性について検討する。 しかし、キャリブレーションの維持は、データが定常的ではなく、我々の行動に依存する場合、困難である。 我々は、オンライン学習に基づく簡単なアルゴリズムを用いて、非i.d.データのキャリブレーションを確実に維持することを提案する。
  論文  参考訳（メタデータ） (2021-12-08T23:26:23Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。