論文の概要: JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data

• arxiv url: http://arxiv.org/abs/2106.00942v1
• Date: Wed, 2 Jun 2021 05:03:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-03 14:45:37.325040
• Title: JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data
• Title（参考訳）: jumbo: オフラインデータを用いたスケーラブルなマルチタスクベイズ最適化
• Authors: Kourosh Hakhamaneshi, Pieter Abbeel, Vladimir Stojanovic, Aditya Grover
• Abstract要約: 追加データをクエリすることで制限をサイドステップするMBOアルゴリズムであるJUMBOを提案する。 GP-UCBに類似した条件下では, 応答が得られないことを示す。 実世界の2つの最適化問題に対する既存手法に対する性能改善を実証的に示す。
• 参考スコア（独自算出の注目度）: 86.8949732640035
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The goal of Multi-task Bayesian Optimization (MBO) is to minimize the number of queries required to accurately optimize a target black-box function, given access to offline evaluations of other auxiliary functions. When offline datasets are large, the scalability of prior approaches comes at the expense of expressivity and inference quality. We propose JUMBO, an MBO algorithm that sidesteps these limitations by querying additional data based on a combination of acquisition signals derived from training two Gaussian Processes (GP): a cold-GP operating directly in the input domain and a warm-GP that operates in the feature space of a deep neural network pretrained using the offline data. Such a decomposition can dynamically control the reliability of information derived from the online and offline data and the use of pretrained neural networks permits scalability to large offline datasets. Theoretically, we derive regret bounds for JUMBO and show that it achieves no-regret under conditions analogous to GP-UCB (Srinivas et. al. 2010). Empirically, we demonstrate significant performance improvements over existing approaches on two real-world optimization problems: hyper-parameter optimization and automated circuit design.
• Abstract（参考訳）: マルチタスクベイズ最適化(MBO)の目標は、他の補助関数のオフライン評価へのアクセスを前提として、ターゲットのブラックボックス関数を正確に最適化するために必要なクエリ数を最小化することである。 オフラインデータセットが大きい場合、以前のアプローチのスケーラビリティは表現力と推論品質を犠牲にしている。 JUMBOは,2つのガウス過程(GP)のトレーニングから得られる取得信号と,オフラインデータを用いて事前訓練したディープニューラルネットワークの特徴空間で動作するウォームGPを組み合わせて,これらの制約を副次的に処理するMBOアルゴリズムである。 このような分解は、オンラインデータとオフラインデータから派生した情報の信頼性を動的に制御し、事前トレーニングされたニューラルネットワークを使用することで、大規模なオフラインデータセットへのスケーラビリティを実現する。 理論的には、ジャンボの後悔の限界を導出し、gp-ucb(srinivas et. srinivas. )に似た条件下では、no-regretを実現できることを示した。 アル 2010). 実世界の2つの最適化問題(ハイパーパラメータ最適化と自動回路設計)における既存手法に対する性能改善を実証的に示す。

関連論文リスト

• Recursive Gaussian Process State Space Model [4.572915072234487]
  動作領域とGPハイパーパラメータの両方に適応可能な新しいオンラインGPSSM法を提案する。 ポイントを誘導するオンライン選択アルゴリズムは、情報的基準に基づいて開発され、軽量な学習を実現する。 合成データセットと実世界のデータセットの総合的な評価は,提案手法の精度,計算効率,適応性を示す。
  論文  参考訳（メタデータ） (2024-11-22T02:22:59Z)
• Online Parallel Multi-Task Relationship Learning via Alternating Direction Method of Multipliers [37.859185005986056]
  オンラインマルチタスク学習(OMTL)は、複数のタスク間の固有の関係を活用することで、ストリーミングデータ処理を強化する。 本研究では、分散コンピューティング環境に適した最近の最適化である交互方向乗算器法(ADMM)に基づく新しいOMTLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-09T10:20:13Z)
• Optimization Proxies using Limited Labeled Data and Training Time -- A Semi-Supervised Bayesian Neural Network Approach [2.943640991628177]
  制約のある最適化問題は、在庫管理電力グリッドのような様々なエンジニアリングシステムで発生する。 本研究では,ベイジアンネットワーク(BNN)を用いて,制限されたデータと制限されたモデル時間の下での制約付き最適化問題の解法を提案する。 提案手法は,従来のBNNおよびディープニューラルネットワーク(DNN)アーキテクチャよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-04T02:10:20Z)
• Learning Optimal Linear Precoding for Cell-Free Massive MIMO with GNN [15.271970287767164]
  実用的なシステムで要求される1～2ミリ秒の時間予算で計算できるグラフニューラルネットワーク(GNN)を開発した。 本稿では,AP と UE の数が異なる様々なシナリオにおいて,ほぼ最適なスペクトル効率を実現することを示す。
  論文  参考訳（メタデータ） (2024-06-06T19:29:33Z)
• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation [80.227864832092]
  グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。 大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。 本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T05:03:00Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。 既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。 本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T14:38:18Z)
• MOPS-Net: A Matrix Optimization-driven Network forTask-Oriented 3D Point Cloud Downsampling [86.42733428762513]
  MOPS-Netは行列最適化のための新しい解釈可能な深層学習手法である。 我々はMOPS-Netが様々なタスクに対して最先端の深層学習手法に対して好適な性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-05-01T14:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。