論文の概要: Federated Hyperparameter Tuning: Challenges, Baselines, and Connections to Weight-Sharing

• arxiv url: http://arxiv.org/abs/2106.04502v1
• Date: Tue, 8 Jun 2021 16:42:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 16:24:17.792669
• Title: Federated Hyperparameter Tuning: Challenges, Baselines, and Connections to Weight-Sharing
• Title（参考訳）: Federated Hyperparameter Tuning - ウェイトシェアへのチャレンジ、ベースライン、接続
• Authors: Mikhail Khodak, Renbo Tu, Tian Li, Liam Li, Maria-Florina Balcan, Virginia Smith, Ameet Talwalkar
• Abstract要約: 標準アプローチがフェデレートされた設定のベースラインにどのように適合するかを示す。 ウェイトシェアリングのニューラルアーキテクチャ検索技術に新たな接続を行うことで,新しい手法であるFedExを導入する。 理論的には、FedExの変種がオンライン凸最適化の設定においてデバイス上での学習率を正しく調整していることを示す。
• 参考スコア（独自算出の注目度）: 37.056834089598105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tuning hyperparameters is a crucial but arduous part of the machine learning pipeline. Hyperparameter optimization is even more challenging in federated learning, where models are learned over a distributed network of heterogeneous devices; here, the need to keep data on device and perform local training makes it difficult to efficiently train and evaluate configurations. In this work, we investigate the problem of federated hyperparameter tuning. We first identify key challenges and show how standard approaches may be adapted to form baselines for the federated setting. Then, by making a novel connection to the neural architecture search technique of weight-sharing, we introduce a new method, FedEx, to accelerate federated hyperparameter tuning that is applicable to widely-used federated optimization methods such as FedAvg and recent variants. Theoretically, we show that a FedEx variant correctly tunes the on-device learning rate in the setting of online convex optimization across devices. Empirically, we show that FedEx can outperform natural baselines for federated hyperparameter tuning by several percentage points on the Shakespeare, FEMNIST, and CIFAR-10 benchmarks, obtaining higher accuracy using the same training budget.
• Abstract（参考訳）: ハイパーパラメータのチューニングは、マシンラーニングパイプラインの重要な部分ですが、難しい部分です。 ハイパーパラメータ最適化は、ヘテロジニアスデバイスの分散ネットワーク上でモデルが学習されるフェデレーション学習においてさらに難しい。ここでは、データをデバイスに保持し、ローカルトレーニングを実行する必要があるため、構成を効率的にトレーニングし、評価することが困難になる。 本研究では,フェデレーションハイパーパラメータチューニングの問題について検討する。 まず、主要な課題を特定し、標準アプローチがどのようにフェデレーション設定のベースラインを形成するかを示します。 次に,重み共有のニューラルネットワーク探索手法を新たに導入することにより,FedAvgなどの広く使われているフェデレーション最適化手法に適用可能な,フェデレーションハイパーパラメータチューニングを高速化する新しい手法であるFedExを導入する。 理論的には、FedEx変種はデバイス間のオンライン凸最適化の設定においてデバイス上での学習率を正しく調整する。 実験により,FedEx はシェークスピア,FEMNIST,CIFAR-10 ベンチマークにおいて,連合型ハイパーパラメータチューニングの自然なベースラインを数ポイント上回り,同じトレーニング予算を用いて高い精度が得られることを示した。

関連論文リスト

• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• FedPEAT: Convergence of Federated Learning, Parameter-Efficient Fine Tuning, and Emulator Assisted Tuning for Artificial Intelligence Foundation Models with Mobile Edge Computing [20.06372852684181]
  Emulator-Assisted Tuning and Federated PEAT (FedPEAT)について紹介する。 FedPEATは、フェデレーションモデルチューニング、モデルのプライバシとメモリ効率の向上にアダプタ、エミュレータ、PEFTを使用している。 私たちは、サーバが協調的なチューニングに参加するというユニークなシナリオでFedPEATをテストしました。
  論文  参考訳（メタデータ） (2023-10-26T15:47:44Z)
• Profit: Benchmarking Personalization and Robustness Trade-off in Federated Prompt Tuning [40.16581292336117]
  フェデレートラーニング(FL)の多くの応用において、クライアントはローカルデータを用いてパーソナライズされたモデルを求めているが、一般的なグローバルな知識を保持するという意味でも堅牢である。 フェデレーションシステムの設計において、このパーソナライゼーションとロバストネスのトレードオフをどのようにナビゲートするかを理解することは重要である。
  論文  参考訳（メタデータ） (2023-10-06T23:46:33Z)
• HyperTuner: A Cross-Layer Multi-Objective Hyperparameter Auto-Tuning Framework for Data Analytic Services [25.889791254011794]
  クロス層多目的ハイパーパラメータ自動チューニングを実現するHyperTunerを提案する。 他の4つのベースラインアルゴリズムと比較して,HyperTunerは収束性と多様性の両面で優れていることを示す。 異なるトレーニングデータセット、異なる最適化目標、異なる機械学習プラットフォームによる実験は、HyperTunerがさまざまなデータ分析サービスシナリオに適切に適応できることを検証する。
  論文  参考訳（メタデータ） (2023-04-20T02:19:10Z)
• Federated Hypergradient Descent [0.0]
  本稿では,適応的なクライアント学習率,局所的なステップ数,バッチサイズといった手法に原則的アプローチを適用する。 フェデレートされた学習アプリケーションでは、トレーニングパイプラインにおける通信予算とローカルな計算資源の最小化が主な動機です。 我々は,フェデレートEMNIST-62 (FEMNIST) とフェデレートスタックオーバーフロー (FSO) データセットを用いた広範な実験実験により数値結果を示す。
  論文  参考訳（メタデータ） (2022-11-03T19:22:00Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)
• Robust Federated Learning Through Representation Matching and Adaptive Hyper-parameters [5.319361976450981]
  フェデレーション学習(Federated Learning)は、複数のクライアントに属するデータに対して単一のモデルをトレーニングする、分散されたプライバシ対応の学習シナリオである。 現在のフェデレーション学習手法は、異種クライアント側データ分散に苦慮している。 本稿では,局所モデルのばらつきを低減する表現マッチング手法を提案する。
  論文  参考訳（メタデータ） (2019-12-30T20:19:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。