論文の概要: JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data
- arxiv url: http://arxiv.org/abs/2106.00942v1
- Date: Wed, 2 Jun 2021 05:03:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-03 14:45:37.325040
- Title: JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data
- Title(参考訳): jumbo: オフラインデータを用いたスケーラブルなマルチタスクベイズ最適化
- Authors: Kourosh Hakhamaneshi, Pieter Abbeel, Vladimir Stojanovic, Aditya
Grover
- Abstract要約: 追加データをクエリすることで制限をサイドステップするMBOアルゴリズムであるJUMBOを提案する。
GP-UCBに類似した条件下では, 応答が得られないことを示す。
実世界の2つの最適化問題に対する既存手法に対する性能改善を実証的に示す。
- 参考スコア(独自算出の注目度): 86.8949732640035
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The goal of Multi-task Bayesian Optimization (MBO) is to minimize the number
of queries required to accurately optimize a target black-box function, given
access to offline evaluations of other auxiliary functions. When offline
datasets are large, the scalability of prior approaches comes at the expense of
expressivity and inference quality. We propose JUMBO, an MBO algorithm that
sidesteps these limitations by querying additional data based on a combination
of acquisition signals derived from training two Gaussian Processes (GP): a
cold-GP operating directly in the input domain and a warm-GP that operates in
the feature space of a deep neural network pretrained using the offline data.
Such a decomposition can dynamically control the reliability of information
derived from the online and offline data and the use of pretrained neural
networks permits scalability to large offline datasets. Theoretically, we
derive regret bounds for JUMBO and show that it achieves no-regret under
conditions analogous to GP-UCB (Srinivas et. al. 2010). Empirically, we
demonstrate significant performance improvements over existing approaches on
two real-world optimization problems: hyper-parameter optimization and
automated circuit design.
- Abstract(参考訳): マルチタスクベイズ最適化(MBO)の目標は、他の補助関数のオフライン評価へのアクセスを前提として、ターゲットのブラックボックス関数を正確に最適化するために必要なクエリ数を最小化することである。
オフラインデータセットが大きい場合、以前のアプローチのスケーラビリティは表現力と推論品質を犠牲にしている。
JUMBOは,2つのガウス過程(GP)のトレーニングから得られる取得信号と,オフラインデータを用いて事前訓練したディープニューラルネットワークの特徴空間で動作するウォームGPを組み合わせて,これらの制約を副次的に処理するMBOアルゴリズムである。
このような分解は、オンラインデータとオフラインデータから派生した情報の信頼性を動的に制御し、事前トレーニングされたニューラルネットワークを使用することで、大規模なオフラインデータセットへのスケーラビリティを実現する。
理論的には、ジャンボの後悔の限界を導出し、gp-ucb(srinivas et. srinivas. )に似た条件下では、no-regretを実現できることを示した。
アル
2010).
実世界の2つの最適化問題(ハイパーパラメータ最適化と自動回路設計)における既存手法に対する性能改善を実証的に示す。
関連論文リスト
- Functional Graphical Models: Structure Enables Offline Data-Driven
Optimization [121.57202302457135]
構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。
また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-01-08T22:33:14Z) - Accelerating Scalable Graph Neural Network Inference with Node-Adaptive
Propagation [80.227864832092]
グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。
大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。
本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
論文 参考訳(メタデータ) (2023-10-17T05:03:00Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - Augmented Random Search for Multi-Objective Bayesian Optimization of
Neural Networks [1.4050836886292872]
ディープニューラルネットワーク(DNN)の圧縮に多目的最適化アプローチを用いることができる
本稿では,RL(Augmented Random Search Reinforcement Learning)エージェントを用いて学習した,競合するパラメトリックポリシーのアンサンブルに基づく新しい解法を提案する。
提案手法は, DNNの予測精度, 所定のターゲットシステムにおけるメモリ消費量, 計算複雑性の相違点を明らかにすることを目的としている。
論文 参考訳(メタデータ) (2023-05-23T14:31:52Z) - DClEVerNet: Deep Combinatorial Learning for Efficient EV Charging
Scheduling in Large-scale Networked Facilities [5.78463306498655]
電気自動車(EV)は配電ネットワークを著しくストレスし、性能を劣化させ、安定性を損なう可能性がある。
現代の電力網は、EV充電スケジューリングをスケーラブルで効率的な方法で最適化できる、コーディネートまたはスマートな充電戦略を必要とする。
ネットワークの利用可能な電力容量とステーションの占有限度を考慮しつつ、EV利用者の総福祉利益を最大化する時間結合二元最適化問題を定式化する。
論文 参考訳(メタデータ) (2023-05-18T14:03:47Z) - Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。
既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。
本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
論文 参考訳(メタデータ) (2022-11-01T14:38:18Z) - Scalable and Flexible Deep Bayesian Optimization with Auxiliary
Information for Scientific Problems [10.638330155988145]
ベイジアンニューラルネットワーク(BNN)を用いた複雑な構造問題に対するベイジアン最適化を提案する。
BNNは構造化データを扱うための表現力と柔軟性を持ち、補助情報を利用する。
BNN はサンプリング効率と計算コストの両面で BO の代用モデルとして GP よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-04-23T15:46:37Z) - MOPS-Net: A Matrix Optimization-driven Network forTask-Oriented 3D Point
Cloud Downsampling [86.42733428762513]
MOPS-Netは行列最適化のための新しい解釈可能な深層学習手法である。
我々はMOPS-Netが様々なタスクに対して最先端の深層学習手法に対して好適な性能が得られることを示す。
論文 参考訳(メタデータ) (2020-05-01T14:01:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。