論文の概要: Sparse Decentralized Federated Learning

• arxiv url: http://arxiv.org/abs/2308.16671v2
• Date: Sat, 15 Mar 2025 02:52:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 15:57:08.392642
• Title: Sparse Decentralized Federated Learning
• Title（参考訳）: スパース分散フェデレーションラーニング
• Authors: Shan Sha, Shenglong Zhou, Lingchen Kong, Geoffrey Ye Li,
• Abstract要約: 分散フェデレートラーニング(DFL)は、中央サーバーなしで協調的なモデルトレーニングを可能にするが、効率、安定性、信頼性の課題に直面している。 Sparse DFL (SDFL) に繋がる共有モデルに空間制約を導入し,新しいアルゴリズムCEPSを提案する。 数値実験により,高い信頼性を維持しつつ,コミュニケーションと効率を向上させるための提案アルゴリズムの有効性が検証された。
• 参考スコア（独自算出の注目度）: 35.32297764027417
• License:
• Abstract: Decentralized Federated Learning (DFL) enables collaborative model training without a central server but faces challenges in efficiency, stability, and trustworthiness due to communication and computational limitations among distributed nodes. To address these critical issues, we introduce a sparsity constraint on the shared model, leading to Sparse DFL (SDFL), and propose a novel algorithm, CEPS. The sparsity constraint facilitates the use of one-bit compressive sensing to transmit one-bit information between partially selected neighbour nodes at specific steps, thereby significantly improving communication efficiency. Moreover, we integrate differential privacy into the algorithm to ensure privacy preservation and bolster the trustworthiness of the learning process. Furthermore, CEPS is underpinned by theoretical guarantees regarding both convergence and privacy. Numerical experiments validate the effectiveness of the proposed algorithm in improving communication and computation efficiency while maintaining a high level of trustworthiness.
• Abstract（参考訳）: 分散フェデレートラーニング(DFL)は、中央サーバーなしで協調的なモデルトレーニングを可能にするが、分散ノード間の通信と計算の制限により、効率、安定性、信頼性の課題に直面している。 これらの重要な問題に対処するため、共有モデルにスパース制約を導入し、Sparse DFL (SDFL) へと至り、新しいアルゴリズムCEPSを提案する。 空間制約により、特定のステップで部分的に選択された隣接ノード間で1ビット情報を送信するための1ビット圧縮センシングの使用が容易になり、通信効率が大幅に向上する。 さらに、差分プライバシをアルゴリズムに統合し、プライバシ保護を確保し、学習プロセスの信頼性を高める。 さらに、CEPSは収束とプライバシの両方に関する理論的保証によって支えられている。 数値実験により,高い信頼性を維持しつつ,通信効率と計算効率を向上させるための提案アルゴリズムの有効性が検証された。

関連論文リスト

• Leiden-Fusion Partitioning Method for Effective Distributed Training of Graph Embeddings [0.7373617024876725]
  本稿では,最小限の通信量でグラフを大規模に学習するための分割手法Leiden-Fusionを提案する。 我々の手法は、初期連結グラフに対して、各分割が孤立ノードを持たない密連結な部分グラフであることを保証する。 提案手法の有効性を,複数のベンチマークデータセット上で広範囲に評価することで実証する。
  論文  参考訳（メタデータ） (2024-09-15T22:50:57Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Asynchronous Local Computations in Distributed Bayesian Learning [8.516532665507835]
  本稿では,高速な計算と通信オーバヘッドを同時に低減するために,ゴシップに基づく通信を提案する。 我々は、特に低データ範囲において、より高速な初期収束と性能精度の向上を観察する。 UCI MLレポジトリのガンマ望遠鏡とmHealthデータセットで,それぞれ平均78%,90%以上の分類精度を達成した。
  論文  参考訳（メタデータ） (2023-11-06T20:11:41Z)
• A Newton-type algorithm for federated learning based on incremental Hessian eigenvector sharing [5.404315085380945]
  我々は、フェデレートラーニング(FL)を高速化するために設計された、通信制約付きニュートン型(NT)アルゴリズムを提案する。 提案手法は実際のデータセットで完全に検証される。
  論文  参考訳（メタデータ） (2022-02-11T17:52:56Z)
• AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization [159.75564904944707]
  垂直連合学習(VFL)のための非同期準ニュートン(AsySQN)フレームワークを提案する。 提案アルゴリズムは、逆ヘッセン行列を明示的に計算することなく、近似して降下ステップをスケールする。 本稿では,非同期計算を採用することにより,計算資源の有効利用が期待できることを示す。
  論文  参考訳（メタデータ） (2021-09-26T07:56:10Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
  我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。 我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。 本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T13:08:12Z)
• Quantized Decentralized Stochastic Learning over Directed Graphs [54.005946490293496]
  有向グラフ上で通信する計算ノード間でデータポイントが分散される分散学習問題を考える。 モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人にメッセージ(モデル更新)を送信することによる通信負荷の大きなボトルネックに直面します。 本稿では,分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化分散学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-23T18:25:39Z)
• Communication-Efficient Decentralized Learning with Sparsification and Adaptive Peer Selection [13.963329236804586]
  本稿では,以下の特徴を持つ分散学習アルゴリズムを提案する。 各ワーカーは、高度に圧縮されたモデルで、各コミュニケーションラウンドで1人のピアと通信するだけです。 実験結果から,本アルゴリズムは通信トラフィックを大幅に削減し,比較的高帯域幅のピアを選択する。
  論文  参考訳（メタデータ） (2020-02-22T12:31:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。