論文の概要: Efficient Adaptive Federated Optimization

• arxiv url: http://arxiv.org/abs/2410.18117v1
• Date: Thu, 10 Oct 2024 00:00:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-27 05:11:47.425496
• Title: Efficient Adaptive Federated Optimization
• Title（参考訳）: 適応的フェデレーション最適化の効率化
• Authors: Su Hyeong Lee, Sidharth Sharma, Manzil Zaheer, Tian Li,
• Abstract要約: クロスデバイスなフェデレーション環境に特化して設計された,効率的な適応システムであるFedAda2$を導入する。 我々は、$Ada2$が画像とテキストの両方のデータセットに対して同じ適応アルゴリズムを統合することを実証した。
• 参考スコア（独自算出の注目度）: 30.405326002709945
• License:
• Abstract: Adaptive optimization plays a pivotal role in federated learning, where simultaneous server and client-side adaptivity have been shown to be essential for maximizing its performance. However, the scalability of jointly adaptive systems is often constrained by limited resources in communication and memory. In this paper, we introduce a class of efficient adaptive algorithms, named $FedAda^2$, designed specifically for large-scale, cross-device federated environments. $FedAda^2$ optimizes communication efficiency by avoiding the transfer of preconditioners between the server and clients. At the same time, it leverages memory-efficient adaptive optimizers on the client-side to reduce on-device memory consumption. Theoretically, we demonstrate that $FedAda^2$ achieves the same convergence rates for general, non-convex objectives as its more resource-intensive counterparts that directly integrate joint adaptivity. Empirically, we showcase the benefits of joint adaptivity and the effectiveness of $FedAda^2$ on both image and text datasets.
• Abstract（参考訳）: 適応最適化は、サーバとクライアント側の同時適応性がパフォーマンスの最大化に不可欠であることが示されている、連合学習において重要な役割を担っている。 しかし、共同適応システムのスケーラビリティは、通信とメモリの限られたリソースによって制約されることが多い。 本稿では,大規模でクロスデバイスなフェデレーション環境に特化して設計された,効率的な適応アルゴリズムのクラスである$FedAda^2$を紹介する。 FedAda^2$は、サーバとクライアント間のプレコンディショナの転送を避けることで、通信効率を最適化します。 同時に、クライアント側のメモリ効率の高い適応型オプティマイザを活用して、デバイス上でのメモリ消費を減らす。 理論的には、$FedAda^2$は、一般の非凸目的に対して、結合適応性を直接統合するよりリソース集約的な目的に対して同じ収束率を達成することを実証する。 画像とテキストのデータセットにFedAda^2$の利点と効果を実証的に示す。

関連論文リスト

• AdaSplash: Adaptive Sparse Flash Attention [20.28859850361068]
  AdaSplashはGPU最適化アルゴリズムの効率と$alpha$-entmaxの空間的利点を組み合わせたアルゴリズムである。 AdaSplashは、既存の$alpha$-entmax実装と比較して、ランタイムとメモリ効率を大幅に改善している。
  論文  参考訳（メタデータ） (2025-02-17T17:56:23Z)
• MARINA-P: Superior Performance in Non-smooth Federated Optimization with Adaptive Stepsizes [57.24311218570012]
  EF21-P (匿名2024) と MARINA-P (arXiv:2402.06412) の非滑らか凸理論を非サイズ凸設定で拡張する。 我々は、定数、減少、適応(aktype)ステップの理論的保証を提供する。
  論文  参考訳（メタデータ） (2024-12-22T16:18:34Z)
• Memory-Efficient Gradient Unrolling for Large-Scale Bi-level Optimization [71.35604981129838]
  双レベル最適化は階層型機械学習問題に対処するための基本的な数学的枠組みとなっている。 従来の勾配に基づく二段階最適化アルゴリズムは、大規模アプリケーションの要求を満たすには不適である。 両レベル最適化のためのメタ勾配の偏りのない近似を実現するための$(textFG)2textU$を導入する。
  論文  参考訳（メタデータ） (2024-06-20T08:21:52Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• MADA: Meta-Adaptive Optimizers through hyper-gradient Descent [73.1383658672682]
  メタ適応(MADA)は、複数の既知の収束を一般化し、トレーニング中に最も適した収束を動的に学習できる統合フレームワークである。 私たちは、MADAを視覚や言語タスクに関する他の人気と経験的に比較し、MADAがAdamや他の人気を一貫して上回っていることに気付きました。 AVGradは最大演算子を平均演算子に置き換えたもので、高次最適化に適している。
  論文  参考訳（メタデータ） (2024-01-17T00:16:46Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Sample-Efficiency in Multi-Batch Reinforcement Learning: The Need for Dimension-Dependent Adaptivity [16.331196225467707]
  強化学習におけるサンプル効率と適応性の関係を理論的に検討する。 私たちは、バッチ毎にフィードバックが処理され、クエリが更新されるように、クエリをK$のバッチで送信できる学習フレームワークを採用しています。
  論文  参考訳（メタデータ） (2023-10-02T20:14:01Z)
• Batch Multi-Fidelity Bayesian Optimization with Deep Auto-Regressive Networks [17.370056935194786]
  我々は,Deep Auto-Regressive Networks (BMBO-DARN) を用いたバッチ多重忠実ベイズ最適化を提案する。 ベイズニューラルネットワークの集合を用いて、完全自己回帰モデルを構築します。 我々は,忠実度を検索することなく,単純かつ効率的なバッチクエリ手法を開発した。
  論文  参考訳（メタデータ） (2021-06-18T02:55:48Z)
• Adaptive Federated Optimization [43.78438670284309]
  フェデレートラーニングでは、多数のクライアントが中央サーバとコーディネートして、自身のデータを共有せずにモデルを学習する。 適応最適化手法は、このような問題に対処する際、顕著な成功を収めている。 適応型学習は,フェデレート学習の性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-02-29T16:37:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。