論文の概要: Federated Bayesian Optimization via Thompson Sampling
- arxiv url: http://arxiv.org/abs/2010.10154v3
- Date: Thu, 22 Oct 2020 15:07:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 06:10:50.698394
- Title: Federated Bayesian Optimization via Thompson Sampling
- Title(参考訳): トンプソンサンプリングによる連合ベイズ最適化
- Authors: Zhongxiang Dai, Kian Hsiang Low and Patrick Jaillet
- Abstract要約: 本稿では,FBOとFLの主な課題を原則的に克服するフェデレートトンプソンサンプリング(FTS)を提案する。
通信効率, 計算効率, 実用性能の観点から, FTS の有効性を実証的に実証した。
- 参考スコア(独自算出の注目度): 33.087439644066876
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian optimization (BO) is a prominent approach to optimizing
expensive-to-evaluate black-box functions. The massive computational capability
of edge devices such as mobile phones, coupled with privacy concerns, has led
to a surging interest in federated learning (FL) which focuses on collaborative
training of deep neural networks (DNNs) via first-order optimization
techniques. However, some common machine learning tasks such as hyperparameter
tuning of DNNs lack access to gradients and thus require zeroth-order/black-box
optimization. This hints at the possibility of extending BO to the FL setting
(FBO) for agents to collaborate in these black-box optimization tasks. This
paper presents federated Thompson sampling (FTS) which overcomes a number of
key challenges of FBO and FL in a principled way: We (a) use random Fourier
features to approximate the Gaussian process surrogate model used in BO, which
naturally produces the parameters to be exchanged between agents, (b) design
FTS based on Thompson sampling, which significantly reduces the number of
parameters to be exchanged, and (c) provide a theoretical convergence guarantee
that is robust against heterogeneous agents, which is a major challenge in FL
and FBO. We empirically demonstrate the effectiveness of FTS in terms of
communication efficiency, computational efficiency, and practical performance.
- Abstract(参考訳): ベイズ最適化(BO)は、高価なブラックボックス関数を最適化するための顕著なアプローチである。
携帯電話のようなエッジデバイスの膨大な計算能力と、プライバシの懸念が相まって、一階最適化技術によるディープニューラルネットワーク(dnn)の協調トレーニングに焦点を当てた連合学習(fl)への関心が高まっている。
しかし、DNNのハイパーパラメータチューニングのような一般的な機械学習タスクには勾配へのアクセスがなく、したがってゼロ階数/ブラックボックスの最適化が必要である。
このことは、エージェントがこれらのブラックボックス最適化タスクで協力するために、BOをFL設定(FBO)に拡張する可能性を示唆している。
本稿では、FBOとFLの主な課題を原則的に克服するフェデレートトンプソンサンプリング(FTS)を提案する。
a) エージェント間で交換されるパラメータを自然に生成するBOで使用されるガウス過程代理モデルを近似するためにランダムなフーリエ特徴を用いる。
(b)トンプソンサンプリングに基づくFTSの設計により、交換すべきパラメータの数を大幅に削減し、
(c)不均一剤に対して頑健な理論的収束保証を提供し、これはflおよびfboの大きな課題である。
通信効率, 計算効率, 実用性能の観点から, FTS の有効性を実証的に実証した。
関連論文リスト
- Poisson Process for Bayesian Optimization [126.51200593377739]
本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。
従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
論文 参考訳(メタデータ) (2024-02-05T02:54:50Z) - Parameter-Efficient Orthogonal Finetuning via Butterfly Factorization [81.55024300036388]
下流タスク適応のための原則的微調整パラダイムである直交微調整(Orthogonal Finetuning, OFT)について検討する。
優れた一般化性を示しているにもかかわらず、OFTはまだかなり多くのトレーニング可能なパラメータを使っている。
我々はこのパラメータ化をOFTに適用し、ORFT(Orthogonal Butterfly)と呼ばれる新しいパラメータ効率の微調整法を開発した。
論文 参考訳(メタデータ) (2023-11-10T18:59:54Z) - Parallel Bayesian Optimization Using Satisficing Thompson Sampling for
Time-Sensitive Black-Box Optimization [0.0]
本稿では,Thompsonサンプリングに基づく並列BO手法を提案する。
ターゲットを最適なソリューションから、学習しやすい満足できるソリューションにシフトします。
リチウムイオン電池の高速充電設計問題に対して提案手法の有効性を実証した。
論文 参考訳(メタデータ) (2023-10-19T07:03:51Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-04T01:47:37Z) - Efficient Bayesian Optimization with Deep Kernel Learning and
Transformer Pre-trained on Multiple Heterogeneous Datasets [9.510327380529892]
本稿では,トランスフォーマーベースのエンコーダから学習した深い特徴に基づいてカーネルが定義されたガウス過程(GP)であるサロゲートを事前訓練する簡単な手法を提案する。
総合的および実ベンチマーク問題に対する実験は,提案した事前学習および転送BO戦略の有効性を実証するものである。
論文 参考訳(メタデータ) (2023-08-09T01:56:10Z) - Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。
入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。
我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
論文 参考訳(メタデータ) (2022-10-13T09:01:58Z) - Surrogate modeling for Bayesian optimization beyond a single Gaussian
process [62.294228304646516]
本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。
拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。
提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
論文 参考訳(メタデータ) (2022-05-27T16:43:10Z) - Communication-Efficient Stochastic Zeroth-Order Optimization for
Federated Learning [28.65635956111857]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを共有せずに、グローバルモデルを協調的にトレーニングすることを可能にする。
FLの訓練効率を向上させるため,一階計算から一階法まで,様々なアルゴリズムが提案されている。
論文 参考訳(メタデータ) (2022-01-24T08:56:06Z) - Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization [39.824086260578646]
本稿では,信頼度最大化エントロピー探索(TES)取得関数を提案する。
インプットがクエリの情報ゲインにどの程度貢献するかを、信頼された最大値の有限セット上で測定する。
論文 参考訳(メタデータ) (2021-07-30T07:25:07Z) - Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural
Networks [52.32646357164739]
最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。
提案されたSIDNNは、幅広いOPFスキームと互換性がある。
他のLearning-to-OPFスキームとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-03-27T00:45:23Z) - Multi-Fidelity Bayesian Optimization via Deep Neural Networks [19.699020509495437]
多くのアプリケーションでは、目的関数を複数の忠実度で評価することで、コストと精度のトレードオフを可能にする。
本稿では,DNN-MFBO(Deep Neural Network Multi-Fidelity Bayesian Optimization)を提案する。
本手法の利点は, 総合的なベンチマークデータセットと, 工学設計における実世界の応用の両方にある。
論文 参考訳(メタデータ) (2020-07-06T23:28:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。