論文の概要: Approximate Bayesian Optimisation for Neural Networks

• arxiv url: http://arxiv.org/abs/2108.12461v1
• Date: Fri, 27 Aug 2021 19:03:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-01 11:08:06.248821
• Title: Approximate Bayesian Optimisation for Neural Networks
• Title（参考訳）: ニューラルネットワークの近似ベイズ最適化
• Authors: Nadhir Hassen, Irina Rish
• Abstract要約: モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。 理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
• 参考スコア（独自算出の注目度）: 6.921210544516486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A body of work has been done to automate machine learning algorithm to highlight the importance of model choice. Automating the process of choosing the best forecasting model and its corresponding parameters can result to improve a wide range of real-world applications. Bayesian optimisation (BO) uses a blackbox optimisation methods to propose solutions according to an exploration-exploitation trade-off criterion through acquisition functions. BO framework imposes two key ingredients: a probabilistic surrogate model that consist of prior belief of the unknown objective function(data-dependant) and an objective function that describes how optimal is the model-fit. Choosing the best model and its associated hyperparameters can be very expensive, and is typically fit using Gaussian processes (GPs) and at some extends applying approximate inference due its intractability. However, since GPs scale cubically with the number of observations, it has been challenging to handle objectives whose optimization requires many evaluations. In addition, most real-dataset are non-stationary which make idealistic assumptions on surrogate models. The necessity to solve the analytical tractability and the computational feasibility in a stochastic fashion enables to ensure the efficiency and the applicability of Bayesian optimisation. In this paper we explore the use of neural networks as an alternative to GPs to model distributions over functions, we provide a link between density-ratio estimation and class probability estimation based on approximate inference, this reformulation provides algorithm efficiency and tractability.
• Abstract（参考訳）: モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。 最適な予測モデルとそのパラメータを選択するプロセスを自動化すれば、現実世界の幅広いアプリケーションを改善することができる。 ベイズ最適化 (bayesian optimization, bo) はブラックボックス最適化手法を用いて、獲得関数による探索・探索トレードオフ基準に従って解を提案する。 BOフレームワークは2つの重要な要素を課している: 未知の目的関数(データ依存)の事前の信念からなる確率的サロゲートモデルと、モデルに適した最適性を記述する目的関数である。 最良のモデルとその関連するハイパーパラメータを選択することは、非常に高価であり、典型的にはガウス過程(gps)と、その難解性から近似推論を適用する拡張を用いて適合する。 しかし,GPは観測回数とともに3次スケールするので,多くの評価を必要とする最適化対象の処理は困難である。 加えて、ほとんどの実データセットは、サロゲートモデル上で理想主義的な仮定をする非定常である。 統計的手法による解析的トラクタビリティと計算可能性の解決の必要性により、ベイズ最適化の効率性と適用性を確保することができる。 本稿では,関数上の分布をモデル化するためのGPの代替としてニューラルネットワークを用いることを検討するとともに,近似推論に基づく密度比推定とクラス確率推定のリンクを提供し,アルゴリズムの効率とトラクタビリティを提供する。

関連論文リスト

• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Simulation Based Bayesian Optimization [0.6526824510982799]
  本稿では,獲得関数を最適化するための新しいアプローチとして,シミュレーションベースベイズ最適化(SBBO)を提案する。 SBBOは、離散変数を持つ空間に適した代理モデルを使用することができる。 代理モデルの様々な選択を用いたSBBO法の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2024-01-19T16:56:11Z)
• Pseudo-Bayesian Optimization [7.556071491014536]
  ブラックボックス最適化の収束を保証するために最小限の要件を課す公理的枠組みについて検討する。 我々は、単純な局所回帰と、不確実性を定量化するために適切な「ランダム化事前」構造を用いることが、収束を保証するだけでなく、常に最先端のベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-15T07:55:28Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Variational Model Perturbation for Source-Free Domain Adaptation [64.98560348412518]
  確率的枠組みにおける変分ベイズ推定によるモデルパラメータの摂動を導入する。 本研究では,ベイズニューラルネットワークの学習と理論的関連性を実証し,目的領域に対する摂動モデルの一般化可能性を示す。
  論文  参考訳（メタデータ） (2022-10-19T08:41:19Z)
• Bayesian Optimization with Informative Covariance [13.113313427848828]
  探索空間の特定の領域の好みを符号化するために,非定常性を利用した新しい情報共分散関数を提案する。 提案した関数は,より弱い事前情報の下でも,ハイ次元でのベイズ最適化のサンプル効率を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-08-04T15:05:11Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• R-MBO: A Multi-surrogate Approach for Preference Incorporation in Multi-objective Bayesian Optimisation [0.0]
  本稿では,多目的BOにおける意思決定者の嗜好として,目的関数を目的関数値に組み込むための,a-priori Multi-surrogateアプローチを提案する。 ベンチマークと実世界の最適化問題に対する既存モノ代理手法との比較は,提案手法の可能性を示している。
  論文  参考訳（メタデータ） (2022-04-27T19:58:26Z)
• RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
  入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。 この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。 ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
  論文  参考訳（メタデータ） (2021-10-27T05:37:12Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)
• Finding Optimal Points for Expensive Functions Using Adaptive RBF-Based Surrogate Model Via Uncertainty Quantification [11.486221800371919]
  本稿では,適応的放射基底関数 (RBF) を用いた不確実性定量化によるサロゲートモデルを用いた新しいグローバル最適化フレームワークを提案する。 まずRBFに基づくベイズ代理モデルを用いて真の関数を近似し、新しい点が探索されるたびにRBFのパラメータを適応的に推定し更新することができる。 次に、モデル誘導選択基準を用いて、関数評価のための候補セットから新しい点を識別する。
  論文  参考訳（メタデータ） (2020-01-19T16:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。