論文の概要: Neural-BO: A Black-box Optimization Algorithm using Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2303.01682v3
• Date: Fri, 22 Sep 2023 03:09:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-25 11:43:34.743800
• Title: Neural-BO: A Black-box Optimization Algorithm using Deep Neural Networks
• Title（参考訳）: Neural-BO:ディープニューラルネットワークを用いたブラックボックス最適化アルゴリズム
• Authors: Dat Phan-Trong, Hung Tran-The, Sunil Gupta
• Abstract要約: ニューラルネットワークを用いてブラックボックス関数をモデル化する新しいブラックボックス最適化アルゴリズムを提案する。 我々のアルゴリズムは予測の不確実性を推定するためにベイズニューラルネットワークを必要としないので、計算に有利である。
• 参考スコア（独自算出の注目度）: 12.218039144209017
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian Optimization (BO) is an effective approach for global optimization of black-box functions when function evaluations are expensive. Most prior works use Gaussian processes to model the black-box function, however, the use of kernels in Gaussian processes leads to two problems: first, the kernel-based methods scale poorly with the number of data points and second, kernel methods are usually not effective on complex structured high dimensional data due to curse of dimensionality. Therefore, we propose a novel black-box optimization algorithm where the black-box function is modeled using a neural network. Our algorithm does not need a Bayesian neural network to estimate predictive uncertainty and is therefore computationally favorable. We analyze the theoretical behavior of our algorithm in terms of regret bound using advances in NTK theory showing its efficient convergence. We perform experiments with both synthetic and real-world optimization tasks and show that our algorithm is more sample efficient compared to existing methods.
• Abstract（参考訳）: ベイズ最適化(BO)は,関数評価が高価である場合のブラックボックス関数のグローバル最適化に有効な手法である。 これまでのほとんどの研究では、ブラックボックス関数をモデル化するためにガウス的プロセスを使用していたが、ガウス的プロセスにおけるカーネルの使用は、2つの問題をもたらす。 そこで,ニューラルネットワークを用いてブラックボックス関数をモデル化した新しいブラックボックス最適化アルゴリズムを提案する。 本アルゴリズムは予測の不確かさを推定するためにベイズニューラルネットワークを必要としないため,計算上有利である。 我々はNTK理論の進歩を応用して,アルゴリズムの理論的挙動を後悔境界の観点から分析する。 合成および実世界の最適化タスクを用いて実験を行い、既存の手法と比較してアルゴリズムがよりサンプリング効率が高いことを示す。

関連論文リスト

• Bayesian Optimization for Hyperparameters Tuning in Neural Networks [0.0]
  ベイズ最適化 (Bayesian Optimization) は、連続的な入力と限られた評価予算を持つブラックボックス関数に適した微分自由大域最適化手法である。 本研究では,畳み込みニューラルネットワーク(CNN)の強化を目的としたニューラルネットワークのハイパーパラメータチューニングにおけるBOの適用について検討する。 実験結果から,BOは探索と利用のバランスを効果的に保ち,CNNアーキテクチャの最適設定に向けて急速に収束することが明らかとなった。 このアプローチは、ニューラルネットワークチューニングの自動化におけるBOの可能性を強調し、機械学習パイプラインの精度と計算効率の改善に寄与する。
  論文  参考訳（メタデータ） (2024-10-29T09:23:24Z)
• Regularized Gauss-Newton for Optimizing Overparameterized Neural Networks [2.0072624123275533]
  一般化されたガウスニュートン(GGN)最適化法は、曲率推定を解法に組み込む。 本研究では、2層ニューラルネットワークを明示的な正規化で最適化するGGN法について検討する。
  論文  参考訳（メタデータ） (2024-04-23T10:02:22Z)
• PINN-BO: A Black-box Optimization Algorithm using Physics-Informed Neural Networks [11.618811218101058]
  ブラックボックス最適化は、ノイズの多い高価なブラックボックス関数において、グローバルな最適化を発見するための強力なアプローチである。 物理インフォームドニューラルネットワークを用いたブラックボックス最適化アルゴリズムであるPINN-BOを提案する。 既存の手法に比べて,本アルゴリズムはサンプリング効率が高いことを示す。
  論文  参考訳（メタデータ） (2024-02-05T17:58:17Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Acceleration techniques for optimization over trained neural network ensembles [1.0323063834827415]
  本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。 本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
  論文  参考訳（メタデータ） (2021-12-13T20:50:54Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks [23.038631072178735]
  我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。 その結果、ニューラルネットワークの収束挙動を利用することができる。 このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
  論文  参考訳（メタデータ） (2020-10-25T17:10:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。