論文の概要: Decentralized Federated Learning with Gradient Tracking over Time-Varying Directed Networks

• arxiv url: http://arxiv.org/abs/2409.17189v1
• Date: Wed, 25 Sep 2024 06:23:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 16:40:36.775825
• Title: Decentralized Federated Learning with Gradient Tracking over Time-Varying Directed Networks
• Title（参考訳）: 時間変化指向ネットワーク上でのグラディエントトラッキングによる分散フェデレーション学習
• Authors: Duong Thuy Anh Nguyen, Su Wang, Duong Tung Nguyen, Angelia Nedich, H. Vincent Poor,
• Abstract要約: 本稿では,DSGTm-TVというコンセンサスに基づくアルゴリズムを提案する。 グラデーショントラッキングとヘビーボールモーメントを取り入れて、グローバルな目的関数を最適化する。 DSGTm-TVでは、エージェントは近隣エージェントとの情報交換を用いて局所モデルパラメータと勾配推定を更新する。
• 参考スコア（独自算出の注目度）: 42.92231921732718
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We investigate the problem of agent-to-agent interaction in decentralized (federated) learning over time-varying directed graphs, and, in doing so, propose a consensus-based algorithm called DSGTm-TV. The proposed algorithm incorporates gradient tracking and heavy-ball momentum to distributively optimize a global objective function, while preserving local data privacy. Under DSGTm-TV, agents will update local model parameters and gradient estimates using information exchange with neighboring agents enabled through row- and column-stochastic mixing matrices, which we show guarantee both consensus and optimality. Our analysis establishes that DSGTm-TV exhibits linear convergence to the exact global optimum when exact gradient information is available, and converges in expectation to a neighborhood of the global optimum when employing stochastic gradients. Moreover, in contrast to existing methods, DSGTm-TV preserves convergence for networks with uncoordinated stepsizes and momentum parameters, for which we provide explicit bounds. These results enable agents to operate in a fully decentralized manner, independently optimizing their local hyper-parameters. We demonstrate the efficacy of our approach via comparisons with state-of-the-art baselines on real-world image classification and natural language processing tasks.
• Abstract（参考訳）: 時間変化有向グラフを用いた分散学習におけるエージェント・エージェント間相互作用の問題について検討し,DSGTm-TVと呼ばれるコンセンサスに基づくアルゴリズムを提案する。 提案アルゴリズムは勾配追跡と重球運動量を導入し,局所データのプライバシーを保ちながら,グローバルな目的関数を分散的に最適化する。 DSGTm-TVにおいて, エージェントは, 行および列確率混合行列によって実現された近隣エージェントとの情報交換を用いて, 局所モデルパラメータと勾配推定値を更新し, コンセンサスと最適性の両方を保証する。 解析により,DSGTm-TVは,正確な勾配情報が得られる場合に,正確な大域的最適値に線形収束を示し,確率的勾配を用いた場合,大域的最適値近傍に収束することが確認された。 さらに、既存の手法とは対照的に、DSGTm-TVは、非コーディネートなステップサイズと運動量パラメータを持つネットワークの収束を保ち、明示的な境界を提供する。 これらの結果により、エージェントは独立して局所的なハイパーパラメータを最適化し、完全に分散的に操作できる。 実世界の画像分類と自然言語処理タスクにおける最先端のベースラインとの比較により,本手法の有効性を実証する。

関連論文リスト

• Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
  分散最適化パラダイムとしてフェデレートラーニングが登場した。 本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。 我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:14:05Z)
• Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees [18.24213566328972]
  分散分散学習(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方をクライアントが中央サーバなしで実行するFL設定をキャプチャする。 DSpodFLは、さまざまなシステム設定下でのベースラインと比較して、一貫して速度を達成している。
  論文  参考訳（メタデータ） (2024-02-05T19:02:19Z)
• DRAG: Divergence-based Adaptive Aggregation in Federated learning on Non-IID Data [11.830891255837788]
  局所勾配降下(SGD)は、フェデレートラーニング(FL)におけるコミュニケーション効率向上の基本的なアプローチである 我々は,局所勾配と大域基準方向の角度を定量化する「発散度」と呼ばれる新しい計量を導入する。 本稿では,各ラウンドの参照方向に対して受信した局所的な更新を,余分な通信オーバーヘッドを伴わずに動的にドラッグする分散型アダプティブアグリゲーション(DRAG)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-04T19:40:58Z)
• FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
  我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。 IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-28T08:07:28Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• GAN-Supervised Dense Visual Alignment [95.37027391102684]
  本稿では,識別モデル学習のためのフレームワークであるGAN-Supervised Learningと,GAN生成した学習データをエンドツーエンドで共同で学習する手法を提案する。 従来のCongealing法にインスパイアされた我々のGANgealingアルゴリズムは、Spatial Transformerを訓練し、不整合データに基づいて訓練されたGANのランダムなサンプルを共通の目標モードにマッピングする。
  論文  参考訳（メタデータ） (2021-12-09T18:59:58Z)
• Domain Adaptive Person Re-Identification via Coupling Optimization [58.567492812339566]
  ドメイン適応型人物再識別(ReID)は、ドメインのギャップとターゲットシナリオに対するアノテーションの不足のために困難である。 本稿では,ドメイン不変写像 (DIM) 法とグローバル局所距離最適化 (GLO) を含む結合最適化手法を提案する。 GLOはターゲットドメインの教師なし設定でReIDモデルをトレーニングするために設計されている。
  論文  参考訳（メタデータ） (2020-11-06T14:01:03Z)
• GTAdam: Gradient Tracking with Adaptive Momentum for Distributed Online Optimization [4.103281325880475]
  本稿では、中央コーディネータを使わずに、局所的な計算と通信によって、オンライン最適化問題を分散的に解決することを目的とした、計算機エージェントのネットワークを扱う。 本稿では,適応運動量推定法(GTAdam)を用いた勾配追従法と,勾配の1次および2次運動量推定法を組み合わせた勾配追従法を提案する。 マルチエージェント学習によるこれらの数値実験では、GTAdamは最先端の分散最適化手法よりも優れている。
  論文  参考訳（メタデータ） (2020-09-03T15:20:21Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。