論文の概要: Information-theoretic Inducing Point Placement for High-throughput Bayesian Optimisation

• arxiv url: http://arxiv.org/abs/2206.02437v1
• Date: Mon, 6 Jun 2022 08:56:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 02:33:46.941070
• Title: Information-theoretic Inducing Point Placement for High-throughput Bayesian Optimisation
• Title（参考訳）: 高スループットベイズ最適化のための情報理論的誘導点配置
• Authors: Henry B. Moss, Sebastian W. Ober, Victor Picheny
• Abstract要約: 本稿では,情報理論の原理を応用した新しい点設計法を提案する。 目的関数の最大値における大域的不確実性と不確実性の両方を最大化するための誘導点を選択することにより、高精度な高スループットBOをサポートするサロゲートモデルを構築する。
• 参考スコア（独自算出の注目度）: 9.732863739456036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse Gaussian Processes are a key component of high-throughput Bayesian optimisation (BO) loops -- an increasingly common setting where evaluation budgets are large and highly parallelised. By using representative subsets of the available data to build approximate posteriors, sparse models dramatically reduce the computational costs of surrogate modelling by relying on a small set of pseudo-observations, the so-called inducing points, in lieu of the full data set. However, current approaches to design inducing points are not appropriate within BO loops as they seek to reduce global uncertainty in the objective function. Thus, the high-fidelity modelling of promising and data-dense regions required for precise optimisation is sacrificed and computational resources are instead wasted on modelling areas of the space already known to be sub-optimal. Inspired by entropy-based BO methods, we propose a novel inducing point design that uses a principled information-theoretic criterion to select inducing points. By choosing inducing points to maximally reduce both global uncertainty and uncertainty in the maximum value of the objective function, we build surrogate models able to support high-precision high-throughput BO.
• Abstract（参考訳）: Sparse Gaussian Processsはハイスループットベイズ最適化(BO)ループの重要なコンポーネントである。 利用可能なデータの代表的な部分集合を用いて近似後部を構築することで、スパースモデルは、完全なデータセットの代わりに擬似観測の小さなセット、いわゆる誘導点に依存することで、代理モデリングの計算コストを劇的に削減する。 しかし、ポイントを誘導する現在のアプローチは、目的関数のグローバル不確実性を減らすためにboループ内では適切ではない。 したがって、正確な最適化に必要な有望領域とデータ密度領域の高忠実なモデリングは犠牲にされ、代わりに計算資源は、既に準最適であることが知られている空間のモデリング領域に費やされる。 エントロピーに基づくbo法に着想を得て,原理的情報理論的基準を用いて誘導点を選択する新しい誘導点設計を提案する。 目的関数の最大値における大域的不確かさと不確実性の両方を最大に減らすための誘導点を選択することで、高精度な高スループットboをサポートすることができるサロゲートモデルを構築する。

関連論文リスト

• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• A Metaheuristic for Amortized Search in High-Dimensional Parameter Spaces [0.0]
  本稿では,特徴インフォームド変換から次元還元を実現するメタヒューリスティックを提案する。 DR-FFITは、高次元空間における勾配自由パラメータ探索を容易にする効率的なサンプリング戦略を実装している。 実験データから,DR-FFITは,確立したメタヒューリスティックスに対するランダム検索とシミュレート・アニーリングの性能を向上させることが示された。
  論文  参考訳（メタデータ） (2023-09-28T14:25:14Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• Prediction-Oriented Bayesian Active Learning [51.426960808684655]
  予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-04-17T10:59:57Z)
• Inducing Point Allocation for Sparse Gaussian Processes in High-Throughput Bayesian Optimisation [9.732863739456036]
  提案手法では,既存のポイント割当手法が最適化性能を著しく損なうことを示す。 決定点プロセスの品質・多様性の分解を利用して,BOにおける最初のポイント割り当て戦略を提案する。
  論文  参考訳（メタデータ） (2023-01-24T16:43:29Z)
• Bayesian Optimization with Informative Covariance [13.113313427848828]
  探索空間の特定の領域の好みを符号化するために,非定常性を利用した新しい情報共分散関数を提案する。 提案した関数は,より弱い事前情報の下でも,ハイ次元でのベイズ最適化のサンプル効率を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-08-04T15:05:11Z)
• Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
  モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。 理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
  論文  参考訳（メタデータ） (2021-08-27T19:03:32Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)
• Bayesian Optimization Meets Laplace Approximation for Robotic Introspection [41.117361086267806]
  本稿では,Deep Neural Networks(DNN)をよりイントロスペクティブにするために,スケーラブルなLaplace Approximation (LA)技術を導入する。 特に,本論文では,真の重み付け後部を過小評価する傾向を緩和する新しいベイズ最適化(BO)アルゴリズムを提案する。 提案するフレームワークは,大規模データセットやアーキテクチャにまで拡張可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-30T09:28:10Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。