論文の概要: Towards Scalable Bayesian Optimization via Gradient-Informed Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2504.10076v1
• Date: Mon, 14 Apr 2025 10:21:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:55:04.166227
• Title: Towards Scalable Bayesian Optimization via Gradient-Informed Bayesian Neural Networks
• Title（参考訳）: 勾配インフォームドベイズニューラルネットワークによるスケーラブルベイズ最適化に向けて
• Authors: Georgios Makrygiorgos, Joshua Hang Sai Ip, Ali Mesbah,
• Abstract要約: 局所勾配情報を用いた関数観測を効果的に増強するBNNトレーニングのための勾配インフォームド損失関数を提案する。 このアプローチの有効性は、改良されたBNN予測とより高速なBO収束の観点から、よく知られたベンチマークで実証されている。
• 参考スコア（独自算出の注目度）: 6.165163123577486
• License:
• Abstract: Bayesian optimization (BO) is a widely used method for data-driven optimization that generally relies on zeroth-order data of objective function to construct probabilistic surrogate models. These surrogates guide the exploration-exploitation process toward finding global optimum. While Gaussian processes (GPs) are commonly employed as surrogates of the unknown objective function, recent studies have highlighted the potential of Bayesian neural networks (BNNs) as scalable and flexible alternatives. Moreover, incorporating gradient observations into GPs, when available, has been shown to improve BO performance. However, the use of gradients within BNN surrogates remains unexplored. By leveraging automatic differentiation, gradient information can be seamlessly integrated into BNN training, resulting in more informative surrogates for BO. We propose a gradient-informed loss function for BNN training, effectively augmenting function observations with local gradient information. The effectiveness of this approach is demonstrated on well-known benchmarks in terms of improved BNN predictions and faster BO convergence as the number of decision variables increases.
• Abstract（参考訳）: ベイズ最適化(英: Bayesian Optimization, BO)は、確率的サロゲートモデルを構築するために、一般に目的関数のゼロ階データに依存する、データ駆動最適化の広く使われている手法である。 これらのサロゲートは、地球規模の最適点を見つけるための探索-探索過程を導く。 ガウス過程(GP)は、未知の目的関数のサロゲートとして一般的に用いられるが、最近の研究では、ベイズニューラルネットワーク(BNN)がスケーラブルで柔軟な代替手段である可能性を強調している。 さらに、GPに勾配観測を組み込むことで、BO性能が向上することが示されている。 しかしながら、BNNサロゲート内での勾配の使用は未解明のままである。 自動微分を利用することで、勾配情報をBNNトレーニングにシームレスに統合することができ、BOのより情報的な代理となる。 局所勾配情報を用いた関数観測を効果的に増強するBNNトレーニングのための勾配インフォームド損失関数を提案する。 このアプローチの有効性は、BNN予測の改善と決定変数の数の増加に伴ってBO収束の高速化の観点から、よく知られたベンチマークで実証されている。

関連論文リスト

• BiDense: Binarization for Dense Prediction [62.70804353158387]
  BiDenseは、効率よく正確な密度予測タスクのために設計された一般化されたバイナリニューラルネットワーク(BNN)である。 BiDenseは2つの重要なテクニックを取り入れている: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。
  論文  参考訳（メタデータ） (2024-11-15T16:46:04Z)
• PG-LBO: Enhancing High-Dimensional Bayesian Optimization with Pseudo-Label and Gaussian Process Guidance [31.585328335396607]
  現在の主流の手法は、ラベルのないデータのプールを利用して潜在空間を構築する可能性を見落としている。 ラベル付きデータのガイダンスを用いてラベル付きデータを効果的に活用するための新しい手法を提案する。 提案手法は,様々な最適化シナリオにおいて,既存のVAE-BOアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2023-12-28T11:57:58Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• End-to-End Learning of Deep Kernel Acquisition Functions for Bayesian Optimization [39.56814839510978]
  ニューラルネットワークに基づくカーネルを用いたベイズ最適化のためのメタラーニング手法を提案する。 我々のモデルは、複数のタスクから強化学習フレームワークによって訓練されている。 3つのテキスト文書データセットを用いた実験において,提案手法が既存の手法よりも優れたBO性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-11-01T00:42:31Z)
• Scalable and Flexible Deep Bayesian Optimization with Auxiliary Information for Scientific Problems [10.638330155988145]
  ベイジアンニューラルネットワーク(BNN)を用いた複雑な構造問題に対するベイジアン最適化を提案する。 BNNは構造化データを扱うための表現力と柔軟性を持ち、補助情報を利用する。 BNN はサンプリング効率と計算コストの両面で BO の代用モデルとして GP よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-23T15:46:37Z)
• Gradient-Free Adversarial Attacks for Bayesian Neural Networks [9.797319790710713]
  敵対的な例は、機械学習モデルの堅牢性を理解することの重要性を強調している。 本研究では,BNNの逆例を見つけるために,勾配のない最適化手法を用いる。
  論文  参考訳（メタデータ） (2020-12-23T13:19:11Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。