論文の概要: Robust Decentralized Learning with Local Updates and Gradient Tracking

• arxiv url: http://arxiv.org/abs/2405.00965v1
• Date: Thu, 2 May 2024 03:03:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 18:04:13.451025
• Title: Robust Decentralized Learning with Local Updates and Gradient Tracking
• Title（参考訳）: ローカルアップデートとグラディエントトラッキングによるロバストな分散学習
• Authors: Sajjad Ghiasvand, Amirhossein Reisizadeh, Mahnoosh Alizadeh, Ramtin Pedarsani,
• Abstract要約: 分散学習をクライアントやノードのネットワークとみなす。 本稿では,局所的な更新と勾配追跡という2つの重要なデータを利用する分散化ミニマックス最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 16.46727164965154
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As distributed learning applications such as Federated Learning, the Internet of Things (IoT), and Edge Computing grow, it is critical to address the shortcomings of such technologies from a theoretical perspective. As an abstraction, we consider decentralized learning over a network of communicating clients or nodes and tackle two major challenges: data heterogeneity and adversarial robustness. We propose a decentralized minimax optimization method that employs two important modules: local updates and gradient tracking. Minimax optimization is the key tool to enable adversarial training for ensuring robustness. Having local updates is essential in Federated Learning (FL) applications to mitigate the communication bottleneck, and utilizing gradient tracking is essential to proving convergence in the case of data heterogeneity. We analyze the performance of the proposed algorithm, Dec-FedTrack, in the case of nonconvex-strongly concave minimax optimization, and prove that it converges a stationary point. We also conduct numerical experiments to support our theoretical findings.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)やIoT(Internet of Things)、エッジコンピューティング(Edge Computing)といった分散学習アプリケーションが成長するにつれて、理論的観点からこれらの技術の欠点に対処することが重要である。 抽象化として、クライアントやノードのネットワーク上での分散学習を考察し、データ不均一性と対向ロバスト性という2つの大きな課題に対処する。 本稿では,局所的な更新と勾配追跡という2つの重要なモジュールを用いた分散化ミニマックス最適化手法を提案する。 最小限の最適化は、堅牢性を確保するために敵のトレーニングを可能にする重要なツールである。 局所的な更新は、通信ボトルネックを軽減するために、フェデレートラーニング(FL)アプリケーションにおいて不可欠であり、データ不均一性の場合には、勾配追跡を活用することが収束を証明する上で不可欠である。 提案アルゴリズムであるDec-FedTrackは,非凸凸凸凹形最小値最適化の場合の性能を解析し,定常点を収束させることを実証する。 また,理論的な知見を裏付ける数値実験も行った。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Heterogeneity-Aware Resource Allocation and Topology Design for Hierarchical Federated Edge Learning [9.900317349372383]
  Federated Learning (FL)は、モバイルデバイス上で機械学習モデルをトレーニングするためのプライバシー保護フレームワークを提供する。 従来のFLアルゴリズム、例えばFedAvgはこれらのデバイスに重い通信負荷を課す。 エッジデバイスをエッジサーバに接続し,エッジサーバをピアツーピア(P2P)エッジバックホールを介して相互接続する2層HFELシステムを提案する。 我々の目標は、戦略的資源配分とトポロジ設計により、HFELシステムの訓練効率を向上させることである。
  論文  参考訳（メタデータ） (2024-09-29T01:48:04Z)
• Fast Decentralized Gradient Tracking for Federated Minimax Optimization with Local Updates [5.269633789700637]
  textttK-GT-Minimaxのデータ不均一性を扱う能力は、フェデレートされた学習研究と応用の進展において、その重要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-05-07T17:25:56Z)
• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• Smart Information Exchange for Unsupervised Federated Learning via Reinforcement Learning [11.819765040106185]
  本稿では,Reinforcement Learning を用いたデータ転送のための最適グラフ作成手法を提案する。 目標は、環境の制約を考慮して最も利益をもたらすリンクを作ることです。 数値解析により,提案手法の収束速度とトラグラーレジリエンスの利点が示された。
  論文  参考訳（メタデータ） (2024-02-15T00:14:41Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Decentralized Personalized Federated Learning for Min-Max Problems [79.61785798152529]
  本稿では,より広い範囲の最適化問題を含むサドル点問題に対して,PFLを初めて検討した。 この問題に対処するための新しいアルゴリズムを提案し、滑らかな(強く)凸-(強く)凹点問題を理論的に解析する。 両線形問題に対する数値実験と, 対向雑音を有するニューラルネットワークは, 提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-14T10:36:25Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)
• Gradient tracking and variance reduction for decentralized optimization and machine learning [19.54092620537586]
  有限サム問題の解法は、多くの信号処理や機械学習タスクにおいて重要である。 分散還元と勾配追跡を組み合わせ、堅牢な性能を実現するための統一的なアルゴリズムフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-02-13T07:17:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。