論文の概要: Efficient Adaptive Federated Optimization

• arxiv url: http://arxiv.org/abs/2410.18117v1
• Date: Thu, 10 Oct 2024 00:00:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-27 05:11:47.425496
• Title: Efficient Adaptive Federated Optimization
• Title（参考訳）: 適応的フェデレーション最適化の効率化
• Authors: Su Hyeong Lee, Sidharth Sharma, Manzil Zaheer, Tian Li,
• Abstract要約: クロスデバイスなフェデレーション環境に特化して設計された,効率的な適応システムであるFedAda2$を導入する。 我々は、$Ada2$が画像とテキストの両方のデータセットに対して同じ適応アルゴリズムを統合することを実証した。
• 参考スコア（独自算出の注目度）: 30.405326002709945
• License:
• Abstract: Adaptive optimization plays a pivotal role in federated learning, where simultaneous server and client-side adaptivity have been shown to be essential for maximizing its performance. However, the scalability of jointly adaptive systems is often constrained by limited resources in communication and memory. In this paper, we introduce a class of efficient adaptive algorithms, named $FedAda^2$, designed specifically for large-scale, cross-device federated environments. $FedAda^2$ optimizes communication efficiency by avoiding the transfer of preconditioners between the server and clients. At the same time, it leverages memory-efficient adaptive optimizers on the client-side to reduce on-device memory consumption. Theoretically, we demonstrate that $FedAda^2$ achieves the same convergence rates for general, non-convex objectives as its more resource-intensive counterparts that directly integrate joint adaptivity. Empirically, we showcase the benefits of joint adaptivity and the effectiveness of $FedAda^2$ on both image and text datasets.
• Abstract（参考訳）: 適応最適化は、サーバとクライアント側の同時適応性がパフォーマンスの最大化に不可欠であることが示されている、連合学習において重要な役割を担っている。 しかし、共同適応システムのスケーラビリティは、通信とメモリの限られたリソースによって制約されることが多い。 本稿では,大規模でクロスデバイスなフェデレーション環境に特化して設計された,効率的な適応アルゴリズムのクラスである$FedAda^2$を紹介する。 FedAda^2$は、サーバとクライアント間のプレコンディショナの転送を避けることで、通信効率を最適化します。 同時に、クライアント側のメモリ効率の高い適応型オプティマイザを活用して、デバイス上でのメモリ消費を減らす。 理論的には、$FedAda^2$は、一般の非凸目的に対して、結合適応性を直接統合するよりリソース集約的な目的に対して同じ収束率を達成することを実証する。 画像とテキストのデータセットにFedAda^2$の利点と効果を実証的に示す。

関連論文リスト

• Efficient and Robust Regularized Federated Recommendation [52.24782464815489]
  推薦システム(RSRS)は、ユーザの好みとプライバシの両方に対処する。 通信効率を向上させるために,非一様勾配勾配勾配を取り入れた新しい手法を提案する。 RFRecFの強靭性は、多様なベースラインに比べて優れている。
  論文  参考訳（メタデータ） (2024-11-03T12:10:20Z)
• Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data [59.6985168241067]
  フェデレートラーニング(FL)は、低トレーニング効率と限られた計算資源の2つの重要な問題に遭遇する。 本稿では,サーバ上の共有不感データとエッジデバイスの分散データを活用するための新しいFLフレームワークであるFedDUMAPを提案する。 提案するFLモデルであるFedDUMAPは,従来の3つの手法を組み合わせることで,ベースラインアプローチと比較して性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-08-11T02:59:11Z)
• Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation [55.75188191403343]
  各ユーザが事前に定義した機能であるユーティリティを導入し,BOのコストと性能のトレードオフについて述べる。 このアルゴリズムをLCデータセット上で検証した結果,従来のマルチファイルBOや転送BOベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-05-28T07:38:39Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Efficient Federated Learning via Local Adaptive Amended Optimizer with Linear Speedup [90.26270347459915]
  そこで我々は,グローバル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アルゴリズムを提案する。 textitLADAは通信ラウンドを大幅に削減し、複数のベースラインよりも高い精度を実現する。
  論文  参考訳（メタデータ） (2023-07-30T14:53:21Z)
• Differentially Private Adaptive Optimization with Delayed Preconditioners [44.190582378775694]
  補助データのないトレーニングにおいて適応幾何学を推定する手法を探索する。 適応的手法が古いプレコンディショナーを許容できるという観察に感銘を受けて、我々は微分適応型プライベートトレーニングを提案する。 実験的にDP2を探索し、非適応ベースラインに対して最大4倍の収束速度を向上できることを実証した。
  論文  参考訳（メタデータ） (2022-12-01T06:59:30Z)
• FedDUAP: Federated Learning with Dynamic Update and Adaptive Pruning Using Shared Data on the Server [64.94942635929284]
  フェデレーテッド・ラーニング(FL)は2つの重要な課題、すなわち限られた計算資源と訓練効率の低下に悩まされている。 本稿では,サーバ上の不感なデータとエッジデバイスの分散データを利用する新しいFLフレームワークであるFedDUAPを提案する。 提案するFLモデルであるFedDUAPは,2つの元の手法を統合することで,精度(最大4.8%),効率(最大2.8倍),計算コスト(最大61.9%)において,ベースラインアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2022-04-25T10:00:00Z)
• Batch Multi-Fidelity Bayesian Optimization with Deep Auto-Regressive Networks [17.370056935194786]
  我々は,Deep Auto-Regressive Networks (BMBO-DARN) を用いたバッチ多重忠実ベイズ最適化を提案する。 ベイズニューラルネットワークの集合を用いて、完全自己回帰モデルを構築します。 我々は,忠実度を検索することなく,単純かつ効率的なバッチクエリ手法を開発した。
  論文  参考訳（メタデータ） (2021-06-18T02:55:48Z)
• Adaptive Federated Optimization [43.78438670284309]
  フェデレートラーニングでは、多数のクライアントが中央サーバとコーディネートして、自身のデータを共有せずにモデルを学習する。 適応最適化手法は、このような問題に対処する際、顕著な成功を収めている。 適応型学習は,フェデレート学習の性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-02-29T16:37:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。