論文の概要: Bayesian Optimization of Function Networks with Partial Evaluations
- arxiv url: http://arxiv.org/abs/2311.02146v1
- Date: Fri, 3 Nov 2023 17:55:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 19:09:11.133979
- Title: Bayesian Optimization of Function Networks with Partial Evaluations
- Title（参考訳）: 部分評価による関数ネットワークのベイズ最適化
- Authors: Poompol Buathong, Jiayue Wan, Samuel Daulton, Raul Astudillo,
Maximilian Balandat, Peter I. Frazier
- Abstract要約: 本稿では,BOFN の新たな知識獲得機能を提案する。
このアプローチは、ネットワーク全体の評価に対して、ネットワークの一部の評価を低コストで行えるようにすることで、クエリコストを劇的に削減することができる。
- 参考スコア（独自算出の注目度）: 17.272658301768146
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian optimization is a framework for optimizing functions that are costly
or time-consuming to evaluate. Recent work has considered Bayesian optimization
of function networks (BOFN), where the objective function is computed via a
network of functions, each taking as input the output of previous nodes in the
network and additional parameters. Exploiting this network structure has been
shown to yield significant performance improvements. Existing BOFN algorithms
for general-purpose networks are required to evaluate the full network at each
iteration. However, many real-world applications allow evaluating nodes
individually. To take advantage of this opportunity, we propose a novel
knowledge gradient acquisition function for BOFN that chooses which node to
evaluate as well as the inputs for that node in a cost-aware fashion. This
approach can dramatically reduce query costs by allowing the evaluation of part
of the network at a lower cost relative to evaluating the entire network. We
provide an efficient approach to optimizing our acquisition function and show
it outperforms existing BOFN methods and other benchmarks across several
synthetic and real-world problems. Our acquisition function is the first to
enable cost-aware optimization of a broad class of function networks.
- Abstract（参考訳）: ベイズ最適化は、評価にコストや時間を要する関数を最適化するためのフレームワークである。
最近の研究は、関数ネットワーク(BOFN)のベイズ最適化を検討しており、対象関数は関数のネットワークを介して計算され、それぞれがネットワーク内の前のノードの出力と追加パラメータを入力とする。
このネットワーク構造の展開は、大幅な性能向上をもたらすことが示されている。
各イテレーションで全ネットワークを評価するには,既存の汎用ネットワークのためのBOFNアルゴリズムが必要である。
しかし、現実世界のアプリケーションの多くは個別にノードを評価することができる。
この機会を生かして,bofnのための新しい知識勾配取得関数を提案する。
このアプローチは、ネットワーク全体の評価よりも低いコストでネットワークの一部を評価することで、クエリコストを劇的に削減することができる。
提案手法は,取得関数を最適化し,既存のBOFNメソッドや他のベンチマークよりも優れた性能を示す。
我々の獲得関数は、幅広い種類の関数ネットワークのコスト認識最適化を可能にする最初のものである。
関連論文リスト
- Bayesian Optimization for Hyperparameters Tuning in Neural Networks [0.0]
ベイズ最適化 (Bayesian Optimization) は、連続的な入力と限られた評価予算を持つブラックボックス関数に適した微分自由大域最適化手法である。
本研究では,畳み込みニューラルネットワーク(CNN)の強化を目的としたニューラルネットワークのハイパーパラメータチューニングにおけるBOの適用について検討する。
実験結果から,BOは探索と利用のバランスを効果的に保ち,CNNアーキテクチャの最適設定に向けて急速に収束することが明らかとなった。
このアプローチは、ニューラルネットワークチューニングの自動化におけるBOの可能性を強調し、機械学習パイプラインの精度と計算効率の改善に寄与する。
論文 参考訳（メタデータ） (2024-10-29T09:23:24Z) - Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation [55.75188191403343]
各ユーザが事前に定義した機能であるユーティリティを導入し,BOのコストと性能のトレードオフについて述べる。
このアルゴリズムをLCデータセット上で検証した結果,従来のマルチファイルBOや転送BOベースラインよりも優れていた。
論文 参考訳（メタデータ） (2024-05-28T07:38:39Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - Efficient Neural Network Analysis with Sum-of-Infeasibilities [64.31536828511021]
凸最適化における総和係数法に着想を得て,広範な分岐関数を持つネットワーク上での検証クエリを解析するための新しい手法を提案する。
標準ケース分析に基づく完全探索手順の拡張は、各検索状態で実行される凸手順をDeepSoIに置き換えることによって達成できる。
論文 参考訳（メタデータ） (2022-03-19T15:05:09Z) - Bayesian Optimization of Function Networks [20.73717187683924]
本稿では,関数ネットワークの出力のベイジアン最適化,親ノードの出力の入力として各関数が要し,ネットワークの評価に要する時間について考察する。
我々の手法は、前者が無視する情報、すなわちネットワーク内の中間出力を活用することにより、クエリ効率を向上する。
提案手法は,いくつかの合成および実世界の問題において,標準的なベイズ最適化手法よりも劇的に優れていることを示す。
論文 参考訳（メタデータ） (2021-12-31T05:35:21Z) - Batch Multi-Fidelity Bayesian Optimization with Deep Auto-Regressive
Networks [17.370056935194786]
我々は,Deep Auto-Regressive Networks (BMBO-DARN) を用いたバッチ多重忠実ベイズ最適化を提案する。
ベイズニューラルネットワークの集合を用いて、完全自己回帰モデルを構築します。
我々は,忠実度を検索することなく,単純かつ効率的なバッチクエリ手法を開発した。
論文 参考訳（メタデータ） (2021-06-18T02:55:48Z) - Additive Tree-Structured Conditional Parameter Spaces in Bayesian
Optimization: A Novel Covariance Function and a Fast Implementation [34.89735938765757]
木構造関数への加法仮定を一般化し, 改良された試料効率, より広い適用性, 柔軟性を示す。
パラメータ空間の構造情報と加法仮定をBOループに組み込むことで,取得関数を最適化する並列アルゴリズムを開発した。
本稿では,事前学習したVGG16およびRes50モデルのプルーニングとResNet20の検索アクティベーション関数に関する最適化ベンチマーク関数について述べる。
論文 参考訳（メタデータ） (2020-10-06T16:08:58Z) - Multi-Fidelity Bayesian Optimization via Deep Neural Networks [19.699020509495437]
多くのアプリケーションでは、目的関数を複数の忠実度で評価することで、コストと精度のトレードオフを可能にする。
本稿では,DNN-MFBO(Deep Neural Network Multi-Fidelity Bayesian Optimization)を提案する。
本手法の利点は, 総合的なベンチマークデータセットと, 工学設計における実世界の応用の両方にある。
論文 参考訳（メタデータ） (2020-07-06T23:28:40Z) - MOPS-Net: A Matrix Optimization-driven Network forTask-Oriented 3D Point
Cloud Downsampling [86.42733428762513]
MOPS-Netは行列最適化のための新しい解釈可能な深層学習手法である。
我々はMOPS-Netが様々なタスクに対して最先端の深層学習手法に対して好適な性能が得られることを示す。
論文 参考訳（メタデータ） (2020-05-01T14:01:53Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。