論文の概要: On the Outsized Importance of Learning Rates in Local Update Methods

• arxiv url: http://arxiv.org/abs/2007.00878v1
• Date: Thu, 2 Jul 2020 04:45:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 13:42:57.834664
• Title: On the Outsized Importance of Learning Rates in Local Update Methods
• Title（参考訳）: ローカル更新手法における学習率の大幅な重要性について
• Authors: Zachary Charles, Jakub Kone\v{c}n\'y
• Abstract要約: 我々は,多くのフェデレーション学習とメタ学習アルゴリズムを一般化する,局所的な更新手法と呼ばれるアルゴリズム群について検討する。 2次目的に対して、局所更新法は、正に特徴付けられる代理損失関数の勾配降下を実行することを証明した。 クライアント学習率の選択は、サロゲート損失の条件数と、サロゲート最小化関数と真の損失関数との距離を制御していることを示す。
• 参考スコア（独自算出の注目度）: 2.094022863940315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study a family of algorithms, which we refer to as local update methods, that generalize many federated learning and meta-learning algorithms. We prove that for quadratic objectives, local update methods perform stochastic gradient descent on a surrogate loss function which we exactly characterize. We show that the choice of client learning rate controls the condition number of that surrogate loss, as well as the distance between the minimizers of the surrogate and true loss functions. We use this theory to derive novel convergence rates for federated averaging that showcase this trade-off between the condition number of the surrogate loss and its alignment with the true loss function. We validate our results empirically, showing that in communication-limited settings, proper learning rate tuning is often sufficient to reach near-optimal behavior. We also present a practical method for automatic learning rate decay in local update methods that helps reduce the need for learning rate tuning, and highlight its empirical performance on a variety of tasks and datasets.
• Abstract（参考訳）: 我々は,多くのフェデレーション学習とメタ学習アルゴリズムを一般化する,局所的な更新手法と呼ばれるアルゴリズム群を研究する。 二次目的の場合、局所更新法は、我々が正確に特徴付けるサーロゲート損失関数上で確率的勾配降下を行う。 クライアント学習率の選択は、サロゲート損失の条件数と、サロゲート最小化関数と真の損失関数との距離を制御していることを示す。 我々はこの理論を用いて、代理損失の条件数と真の損失関数との整合性の間のトレードオフを示すフェデレーション平均化のための新しい収束率を導出する。 コミュニケーション制限のある環境では、適切な学習率チューニングが最適に近い行動に達するのに十分であることを実証する。 また,学習速度チューニングの必要性を低減し,様々なタスクやデータセットにおける経験的性能を強調する,ローカル更新手法における学習速度の自動減衰の実用的な方法を提案する。

関連論文リスト

• Vlearn: Off-Policy Learning with Efficient State-Value Function Estimation [22.129001951441015]
  既存の非政治強化学習アルゴリズムは、しばしば明示的な状態-作用-値関数表現に依存している。 この信頼性は、高次元の作用空間における状態-作用値関数の維持が困難なデータ非効率をもたらす。 本稿では,非政治的な深層強化学習に対する批判として,状態値関数のみを利用する効率的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-07T12:45:51Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Adaptive Local-Component-aware Graph Convolutional Network for One-shot Skeleton-based Action Recognition [54.23513799338309]
  骨格に基づく行動認識のための適応的局所成分認識グラフ畳み込みネットワークを提案する。 我々の手法はグローバルな埋め込みよりも強力な表現を提供し、我々のモデルが最先端に到達するのに役立ちます。
  論文  参考訳（メタデータ） (2022-09-21T02:33:07Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Relational Surrogate Loss Learning [41.61184221367546]
  本稿では、評価指標を近似するためにディープニューラルネットワークを用いる代理損失学習を再考する。 本稿では,サロゲート損失と測定値の関係を直接的に維持することを示す。 私たちの方法は最適化がずっと簡単で、大幅な効率と性能向上を享受しています。
  論文  参考訳（メタデータ） (2022-02-26T17:32:57Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Convergence and Accuracy Trade-Offs in Federated Learning and Meta-Learning [0.0]
  私たちは、ローカル更新方法と呼ばれるアルゴリズムのファミリーを研究します。 二次モデルの場合、局所的な更新手法は代理損失の1次最適化と等価であることを示す。 これらのトレードオフを示す新しい収束率を導き出し、通信制限設定におけるその重要性を強調します。
  論文  参考訳（メタデータ） (2021-03-08T19:40:32Z)
• META-Learning Eligibility Traces for More Sample Efficient Temporal Difference Learning [2.0559497209595823]
  そこで本稿では,状態依存的な方法で,可視性トレースパラメータを調整するためのメタラーニング手法を提案する。 この適応は、更新対象の分布情報をオンラインで学習する補助学習者の助けを借りて達成される。 提案手法は,いくつかの前提条件下では,全体の目標誤差を最小限に抑えて,更新対象の全体的な品質を改善する。
  論文  参考訳（メタデータ） (2020-06-16T03:41:07Z)
• DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction [96.90215318875859]
  ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。 本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
  論文  参考訳（メタデータ） (2020-03-16T16:18:52Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)
• Adaptive Gradient Sparsification for Efficient Federated Learning: An Online Learning Approach [11.986523531539165]
  フェデレーテッド・ラーニング(FL)は、地理的に分散したデータを用いて機械学習モデルをトレーニングするための新興技術である。 勾配スペーシフィケーション(GS)を適用することができ、完全な勾配の代わりに、勾配の重要な要素の小さなサブセットが通信される。 本稿では,近距離通信とトレードオフを自動的に判定する新しいオンライン学習定式化とアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-14T13:09:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。