論文の概要: On the Convergence of Decentralized Federated Learning Under Imperfect Information Sharing

• arxiv url: http://arxiv.org/abs/2303.10695v1
• Date: Sun, 19 Mar 2023 15:58:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 17:45:42.348944
• Title: On the Convergence of Decentralized Federated Learning Under Imperfect Information Sharing
• Title（参考訳）: 不完全情報共有下における分散連合学習の収束について
• Authors: Vishnu Pandi Chellapandi, Antesh Upadhyay, Abolfazl Hashemi, and Stanislaw H /.Zak
• Abstract要約: 本稿では、ノイズの多い通信チャネルとしてモデル化された不完全な情報共有の存在下で、分散フェデレート学習(DFL)の3つの異なるアルゴリズムを提案する。 その結果、不完全な情報共有の下では、勾配を混合する第3のスキームはノイズチャネルの存在下でより堅牢であることが示された。
• 参考スコア（独自算出の注目度）: 6.48064541861595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized learning and optimization is a central problem in control that encompasses several existing and emerging applications, such as federated learning. While there exists a vast literature on this topic and most methods centered around the celebrated average-consensus paradigm, less attention has been devoted to scenarios where the communication between the agents may be imperfect. To this end, this paper presents three different algorithms of Decentralized Federated Learning (DFL) in the presence of imperfect information sharing modeled as noisy communication channels. The first algorithm, Federated Noisy Decentralized Learning (FedNDL1), comes from the literature, where the noise is added to their parameters to simulate the scenario of the presence of noisy communication channels. This algorithm shares parameters to form a consensus with the clients based on a communication graph topology through a noisy communication channel. The proposed second algorithm (FedNDL2) is similar to the first algorithm but with added noise to the parameters, and it performs the gossip averaging before the gradient optimization. The proposed third algorithm (FedNDL3), on the other hand, shares the gradients through noisy communication channels instead of the parameters. Theoretical and experimental results demonstrate that under imperfect information sharing, the third scheme that mixes gradients is more robust in the presence of a noisy channel compared with the algorithms from the literature that mix the parameters.
• Abstract（参考訳）: 分散学習と最適化は、フェデレーション学習のような既存および新興のアプリケーションを含む制御における中心的な問題である。 この話題に関する膨大な文献や、著名な平均合意パラダイムを中心とした手法があるが、エージェント間のコミュニケーションが不十分なシナリオにはあまり注目されていない。 そこで本研究では,ノイズの多い通信チャネルとしてモデル化された不完全な情報共有の存在下で,分散フェデレート学習(DFL)の3つの異なるアルゴリズムを提案する。 最初のアルゴリズムであるfederated noise decentralized learning (fedndl1)は、ノイズがパラメータに追加され、ノイズが通信チャネルの存在シナリオをシミュレートする文献から来ている。 このアルゴリズムは、ノイズの多い通信チャネルを介して通信グラフトポロジに基づいてクライアントとコンセンサスを形成するパラメータを共有する。 提案した第2のアルゴリズム(FedNDL2)は第1のアルゴリズムと似ているが,パラメータに雑音を加え,勾配最適化前のゴシップ平均化を行う。 一方,提案する第3のアルゴリズム (FedNDL3) は,パラメータの代わりに雑音の多い通信チャネルを通じて勾配を共有する。 理論的および実験的結果は、不完全な情報共有の下では、勾配を混合する第3のスキームは、パラメータを混合する文献のアルゴリズムと比較してノイズチャネルの存在下でより頑健であることを示している。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Disentangled Noisy Correspondence Learning [56.06801962154915]
  クロスモーダル検索は、モダリティ間の潜在対応を理解する上で重要である。 DisNCLはノイズ対応学習における特徴分散のための新しい情報理論フレームワークである。
  論文  参考訳（メタデータ） (2024-08-10T09:49:55Z)
• FedNMUT -- Federated Noisy Model Update Tracking Convergence Analysis [3.665841843512992]
  分散ノイズモデル更新追跡フェデレート学習アルゴリズム(FedNMUT)を提案する。 ノイズの多い通信チャネルで効率的に機能するように調整されている。 FedNMUTはノイズをパラメータに組み込んで、ノイズの多い通信チャネルの条件を模倣する。
  論文  参考訳（メタデータ） (2024-03-20T02:17:47Z)
• Over-the-air Federated Policy Gradient [3.977656739530722]
  オーバー・ザ・エア・アグリゲーションは、大規模分散学習、最適化、センシングにおいて広く検討されている。 本稿では,局部情報を共有無線チャネルに同時送信するオーバー・ザ・エア・フェデレーションポリシアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-25T12:28:20Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• DESTRESS: Computation-Optimal and Communication-Efficient Decentralized Nonconvex Finite-Sum Optimization [43.31016937305845]
  インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。 非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。 詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
  論文  参考訳（メタデータ） (2021-10-04T03:17:41Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• Decentralized Deep Learning using Momentum-Accelerated Consensus [15.333413663982874]
  複数のエージェントが協調して分散データセットから学習する分散ディープラーニングの問題を考える。 本稿では,エージェントが固定された通信トポロジ上で対話する分散ディープラーニングアルゴリズムを提案し,解析する。 本アルゴリズムは,勾配に基づくプロトコルで用いられるヘビーボール加速度法に基づく。
  論文  参考訳（メタデータ） (2020-10-21T17:39:52Z)
• Quantized Decentralized Stochastic Learning over Directed Graphs [52.94011236627326]
  有向グラフ上で通信する計算ノード間でデータポイントが分散される分散学習問題を考える。 モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人にメッセージ(モデル更新)を送信することによる通信負荷の大きなボトルネックに直面します。 本稿では,分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化分散学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-23T18:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。