論文の概要: Efficient Adaptive Federated Optimization

• arxiv url: http://arxiv.org/abs/2410.18117v2
• Date: Thu, 06 Feb 2025 16:00:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:29:30.577451
• Title: Efficient Adaptive Federated Optimization
• Title（参考訳）: 適応的フェデレーション最適化の効率化
• Authors: Su Hyeong Lee, Sidharth Sharma, Manzil Zaheer, Tian Li,
• Abstract要約: 本稿では,大規模でクロス集中型のフェデレーション環境に対して,$Ada2$FedAda2$++というアルゴリズムのクラスを紹介する。 Ada2$FedAda2$++は、一般的な非デバイス適応アルゴリズムとリソース効率のよいアルゴリズムの収束率を達成する。
• 参考スコア（独自算出の注目度）: 30.405326002709945
• License:
• Abstract: Adaptive optimization is critical in federated learning, where enabling adaptivity on both the server and client sides has proven essential for achieving optimal performance. However, the scalability of such jointly adaptive systems is often hindered by resource limitations in communication and memory. In this paper, we introduce a class of efficient adaptive algorithms, named $FedAda^2$ and its enhanced version $FedAda^2$++, designed specifically for large-scale, cross-device federated environments. $FedAda^2$ optimizes communication efficiency by avoiding the transfer of preconditioners between the server and clients. Additionally, $FedAda^2$++ extends this approach by incorporating memory-efficient adaptive optimizers on the client side, further reducing on-device memory usage. Theoretically, we demonstrate that $FedAda^2$ and $FedAda^2$++ achieve the same convergence rates for general, non-convex objectives as its more resource-intensive counterparts that directly integrate joint adaptivity. Extensive empirical evaluations on image and text datasets demonstrate both the advantages of joint adaptivity and the effectiveness of $FedAda^2$/$FedAda^2$++.
• Abstract（参考訳）: サーバ側とクライアント側の両方で適応性を実現することは、最適なパフォーマンスを達成する上で不可欠であることが証明されている。 しかし、このような協調適応システムのスケーラビリティは、通信とメモリのリソース制限によってしばしば妨げられる。 本稿では,FedAda^2$とその拡張版である$FedAda^2$++について紹介する。 FedAda^2$は、サーバとクライアント間のプレコンディショナの転送を避けることで、通信効率を最適化します。 さらに、$FedAda^2$++は、クライアント側にメモリ効率の高い適応型オプティマイザを組み込むことで、このアプローチを拡張し、デバイス上のメモリ使用量をさらに削減する。 理論的には、$FedAda^2$と$FedAda^2$++は、一般の非凸目的に対して、結合適応性を直接統合するリソース集約的な目的に対して同じ収束率を達成することを実証する。 FedAda^2$/$FedAda^2$++の利点と効果の両面を画像およびテキストデータセットで広範囲に評価した。

関連論文リスト

• AdaSplash: Adaptive Sparse Flash Attention [20.28859850361068]
  AdaSplashはGPU最適化アルゴリズムの効率と$alpha$-entmaxの空間的利点を組み合わせたアルゴリズムである。 AdaSplashは、既存の$alpha$-entmax実装と比較して、ランタイムとメモリ効率を大幅に改善している。
  論文  参考訳（メタデータ） (2025-02-17T17:56:23Z)
• MARINA-P: Superior Performance in Non-smooth Federated Optimization with Adaptive Stepsizes [57.24311218570012]
  EF21-P (匿名2024) と MARINA-P (arXiv:2402.06412) の非滑らか凸理論を非サイズ凸設定で拡張する。 我々は、定数、減少、適応(aktype)ステップの理論的保証を提供する。
  論文  参考訳（メタデータ） (2024-12-22T16:18:34Z)
• Memory-Efficient Gradient Unrolling for Large-Scale Bi-level Optimization [71.35604981129838]
  双レベル最適化は階層型機械学習問題に対処するための基本的な数学的枠組みとなっている。 従来の勾配に基づく二段階最適化アルゴリズムは、大規模アプリケーションの要求を満たすには不適である。 両レベル最適化のためのメタ勾配の偏りのない近似を実現するための$(textFG)2textU$を導入する。
  論文  参考訳（メタデータ） (2024-06-20T08:21:52Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• MADA: Meta-Adaptive Optimizers through hyper-gradient Descent [73.1383658672682]
  メタ適応(MADA)は、複数の既知の収束を一般化し、トレーニング中に最も適した収束を動的に学習できる統合フレームワークである。 私たちは、MADAを視覚や言語タスクに関する他の人気と経験的に比較し、MADAがAdamや他の人気を一貫して上回っていることに気付きました。 AVGradは最大演算子を平均演算子に置き換えたもので、高次最適化に適している。
  論文  参考訳（メタデータ） (2024-01-17T00:16:46Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Sample-Efficiency in Multi-Batch Reinforcement Learning: The Need for Dimension-Dependent Adaptivity [16.331196225467707]
  強化学習におけるサンプル効率と適応性の関係を理論的に検討する。 私たちは、バッチ毎にフィードバックが処理され、クエリが更新されるように、クエリをK$のバッチで送信できる学習フレームワークを採用しています。
  論文  参考訳（メタデータ） (2023-10-02T20:14:01Z)
• Batch Multi-Fidelity Bayesian Optimization with Deep Auto-Regressive Networks [17.370056935194786]
  我々は,Deep Auto-Regressive Networks (BMBO-DARN) を用いたバッチ多重忠実ベイズ最適化を提案する。 ベイズニューラルネットワークの集合を用いて、完全自己回帰モデルを構築します。 我々は,忠実度を検索することなく,単純かつ効率的なバッチクエリ手法を開発した。
  論文  参考訳（メタデータ） (2021-06-18T02:55:48Z)
• Adaptive Federated Optimization [43.78438670284309]
  フェデレートラーニングでは、多数のクライアントが中央サーバとコーディネートして、自身のデータを共有せずにモデルを学習する。 適応最適化手法は、このような問題に対処する際、顕著な成功を収めている。 適応型学習は,フェデレート学習の性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-02-29T16:37:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。