論文の概要: Federated Bayesian Optimization via Thompson Sampling
- arxiv url: http://arxiv.org/abs/2010.10154v3
- Date: Thu, 22 Oct 2020 15:07:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 06:10:50.698394
- Title: Federated Bayesian Optimization via Thompson Sampling
- Title（参考訳）: トンプソンサンプリングによる連合ベイズ最適化
- Authors: Zhongxiang Dai, Kian Hsiang Low and Patrick Jaillet
- Abstract要約: 本稿では,FBOとFLの主な課題を原則的に克服するフェデレートトンプソンサンプリング(FTS)を提案する。
通信効率, 計算効率, 実用性能の観点から, FTS の有効性を実証的に実証した。
- 参考スコア（独自算出の注目度）: 33.087439644066876
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian optimization (BO) is a prominent approach to optimizing
expensive-to-evaluate black-box functions. The massive computational capability
of edge devices such as mobile phones, coupled with privacy concerns, has led
to a surging interest in federated learning (FL) which focuses on collaborative
training of deep neural networks (DNNs) via first-order optimization
techniques. However, some common machine learning tasks such as hyperparameter
tuning of DNNs lack access to gradients and thus require zeroth-order/black-box
optimization. This hints at the possibility of extending BO to the FL setting
(FBO) for agents to collaborate in these black-box optimization tasks. This
paper presents federated Thompson sampling (FTS) which overcomes a number of
key challenges of FBO and FL in a principled way: We (a) use random Fourier
features to approximate the Gaussian process surrogate model used in BO, which
naturally produces the parameters to be exchanged between agents, (b) design
FTS based on Thompson sampling, which significantly reduces the number of
parameters to be exchanged, and (c) provide a theoretical convergence guarantee
that is robust against heterogeneous agents, which is a major challenge in FL
and FBO. We empirically demonstrate the effectiveness of FTS in terms of
communication efficiency, computational efficiency, and practical performance.
- Abstract（参考訳）: ベイズ最適化(BO)は、高価なブラックボックス関数を最適化するための顕著なアプローチである。
携帯電話のようなエッジデバイスの膨大な計算能力と、プライバシの懸念が相まって、一階最適化技術によるディープニューラルネットワーク(dnn)の協調トレーニングに焦点を当てた連合学習(fl)への関心が高まっている。
しかし、DNNのハイパーパラメータチューニングのような一般的な機械学習タスクには勾配へのアクセスがなく、したがってゼロ階数/ブラックボックスの最適化が必要である。
このことは、エージェントがこれらのブラックボックス最適化タスクで協力するために、BOをFL設定(FBO)に拡張する可能性を示唆している。
本稿では、FBOとFLの主な課題を原則的に克服するフェデレートトンプソンサンプリング(FTS)を提案する。
a) エージェント間で交換されるパラメータを自然に生成するBOで使用されるガウス過程代理モデルを近似するためにランダムなフーリエ特徴を用いる。
(b)トンプソンサンプリングに基づくFTSの設計により、交換すべきパラメータの数を大幅に削減し、
(c)不均一剤に対して頑健な理論的収束保証を提供し、これはflおよびfboの大きな課題である。
通信効率, 計算効率, 実用性能の観点から, FTS の有効性を実証的に実証した。
関連論文リスト
- Bayesian Optimization for Hyperparameters Tuning in Neural Networks [0.0]
ベイズ最適化 (Bayesian Optimization) は、連続的な入力と限られた評価予算を持つブラックボックス関数に適した微分自由大域最適化手法である。
本研究では,畳み込みニューラルネットワーク(CNN)の強化を目的としたニューラルネットワークのハイパーパラメータチューニングにおけるBOの適用について検討する。
実験結果から,BOは探索と利用のバランスを効果的に保ち,CNNアーキテクチャの最適設定に向けて急速に収束することが明らかとなった。
このアプローチは、ニューラルネットワークチューニングの自動化におけるBOの可能性を強調し、機械学習パイプラインの精度と計算効率の改善に寄与する。
論文 参考訳（メタデータ） (2024-10-29T09:23:24Z) - In-Context Freeze-Thaw Bayesian Optimization for Hyperparameter Optimization [35.74766507227412]
フリーズソー型BOの新しいサロゲートであるFT-PFNを提案する。
FT-PFN(FT-PFN)は、トランスフォーマーのテキスト内学習能力を活用する事前データ対応ネットワーク(PFN)である。
新たな取得機構 (I-random) と組み合わせることで,ifBO法により新しい最先端性能が得られることを示す。
論文 参考訳（メタデータ） (2024-04-25T17:40:52Z) - Poisson Process for Bayesian Optimization [126.51200593377739]
本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。
従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
論文 参考訳（メタデータ） (2024-02-05T02:54:50Z) - Parameter-Efficient Orthogonal Finetuning via Butterfly Factorization [102.92240148504774]
下流タスク適応のための原則的微調整パラダイムである直交微調整(Orthogonal Finetuning, OFT)について検討する。
優れた一般化性を示しているにもかかわらず、OFTはまだかなり多くのトレーニング可能なパラメータを使っている。
我々はこのパラメータ化をOFTに適用し、ORFT(Orthogonal Butterfly)と呼ばれる新しいパラメータ効率の微調整法を開発した。
論文 参考訳（メタデータ） (2023-11-10T18:59:54Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。
入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。
我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
論文 参考訳（メタデータ） (2022-10-13T09:01:58Z) - Surrogate modeling for Bayesian optimization beyond a single Gaussian
process [62.294228304646516]
本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。
拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。
提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
論文 参考訳（メタデータ） (2022-05-27T16:43:10Z) - Communication-Efficient Stochastic Zeroth-Order Optimization for
Federated Learning [28.65635956111857]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを共有せずに、グローバルモデルを協調的にトレーニングすることを可能にする。
FLの訓練効率を向上させるため,一階計算から一階法まで,様々なアルゴリズムが提案されている。
論文 参考訳（メタデータ） (2022-01-24T08:56:06Z) - Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization [39.824086260578646]
本稿では,信頼度最大化エントロピー探索(TES)取得関数を提案する。
インプットがクエリの情報ゲインにどの程度貢献するかを、信頼された最大値の有限セット上で測定する。
論文 参考訳（メタデータ） (2021-07-30T07:25:07Z) - Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural
Networks [52.32646357164739]
最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。
提案されたSIDNNは、幅広いOPFスキームと互換性がある。
他のLearning-to-OPFスキームとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-03-27T00:45:23Z) - Multi-Fidelity Bayesian Optimization via Deep Neural Networks [19.699020509495437]
多くのアプリケーションでは、目的関数を複数の忠実度で評価することで、コストと精度のトレードオフを可能にする。
本稿では,DNN-MFBO(Deep Neural Network Multi-Fidelity Bayesian Optimization)を提案する。
本手法の利点は, 総合的なベンチマークデータセットと, 工学設計における実世界の応用の両方にある。
論文 参考訳（メタデータ） (2020-07-06T23:28:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。