論文の概要: Sparse Decentralized Federated Learning

• arxiv url: http://arxiv.org/abs/2308.16671v2
• Date: Sat, 15 Mar 2025 02:52:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 21:01:23.619113
• Title: Sparse Decentralized Federated Learning
• Title（参考訳）: スパース分散フェデレーションラーニング
• Authors: Shan Sha, Shenglong Zhou, Lingchen Kong, Geoffrey Ye Li,
• Abstract要約: 分散フェデレートラーニング(DFL)は、中央サーバーなしで協調的なモデルトレーニングを可能にするが、効率、安定性、信頼性の課題に直面している。 Sparse DFL (SDFL) に繋がる共有モデルに空間制約を導入し,新しいアルゴリズムCEPSを提案する。 数値実験により,高い信頼性を維持しつつ,コミュニケーションと効率を向上させるための提案アルゴリズムの有効性が検証された。
• 参考スコア（独自算出の注目度）: 35.32297764027417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized Federated Learning (DFL) enables collaborative model training without a central server but faces challenges in efficiency, stability, and trustworthiness due to communication and computational limitations among distributed nodes. To address these critical issues, we introduce a sparsity constraint on the shared model, leading to Sparse DFL (SDFL), and propose a novel algorithm, CEPS. The sparsity constraint facilitates the use of one-bit compressive sensing to transmit one-bit information between partially selected neighbour nodes at specific steps, thereby significantly improving communication efficiency. Moreover, we integrate differential privacy into the algorithm to ensure privacy preservation and bolster the trustworthiness of the learning process. Furthermore, CEPS is underpinned by theoretical guarantees regarding both convergence and privacy. Numerical experiments validate the effectiveness of the proposed algorithm in improving communication and computation efficiency while maintaining a high level of trustworthiness.
• Abstract（参考訳）: 分散フェデレートラーニング(DFL)は、中央サーバーなしで協調的なモデルトレーニングを可能にするが、分散ノード間の通信と計算の制限により、効率、安定性、信頼性の課題に直面している。 これらの重要な問題に対処するため、共有モデルにスパース制約を導入し、Sparse DFL (SDFL) へと至り、新しいアルゴリズムCEPSを提案する。 空間制約により、特定のステップで部分的に選択された隣接ノード間で1ビット情報を送信するための1ビット圧縮センシングの使用が容易になり、通信効率が大幅に向上する。 さらに、差分プライバシをアルゴリズムに統合し、プライバシ保護を確保し、学習プロセスの信頼性を高める。 さらに、CEPSは収束とプライバシの両方に関する理論的保証によって支えられている。 数値実験により,高い信頼性を維持しつつ,通信効率と計算効率を向上させるための提案アルゴリズムの有効性が検証された。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Leiden-Fusion Partitioning Method for Effective Distributed Training of Graph Embeddings [0.7373617024876725]
  本稿では,最小限の通信量でグラフを大規模に学習するための分割手法Leiden-Fusionを提案する。 我々の手法は、初期連結グラフに対して、各分割が孤立ノードを持たない密連結な部分グラフであることを保証する。 提案手法の有効性を,複数のベンチマークデータセット上で広範囲に評価することで実証する。
  論文  参考訳（メタデータ） (2024-09-15T22:50:57Z)
• When Swarm Learning meets energy series data: A decentralized collaborative learning design based on blockchain [10.099134773737939]
  機械学習モデルは、将来のエネルギー生産または消費を予測する機能を提供する。 しかし、特定のエネルギーセクター内の法と政策の制約は、様々な情報源のデータを利用する際に技術的ハードルをもたらす。 本稿では,集中型サーバをブロックチェーンベースの分散ネットワークに置き換えるSwarm Learningスキームを提案する。
  論文  参考訳（メタデータ） (2024-06-07T08:42:26Z)
• Privacy Preserving Semi-Decentralized Mean Estimation over Intermittently-Connected Networks [59.43433767253956]
  信頼できない無線ネットワークの異なるノードに分散するベクトルの平均をプライベートに推定する問題を考える。 半分散的なセットアップでは、ノードは隣人と協力してローカルコンセンサスを計算し、中央サーバにリレーする。 ノード間のデータ共有による協調中継とプライバシー漏洩のトレードオフについて検討する。
  論文  参考訳（メタデータ） (2024-06-06T06:12:15Z)
• Low-Cost Privacy-Preserving Decentralized Learning [5.295018540083454]
  分散学習(DL)により、ネットワーク内のノードは、生データを共有したり、中央サーバーに依存することなく、モデルを集合的に訓練することができる。 本稿では、相関ノイズを利用して、ローカルな敵に対する堅牢なプライバシーを実現する、プライバシーに配慮したDLアルゴリズムZip-DLを紹介する。
  論文  参考訳（メタデータ） (2024-03-18T13:53:17Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
  本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。 提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
  論文  参考訳（メタデータ） (2024-02-16T16:41:14Z)
• Asynchronous Local Computations in Distributed Bayesian Learning [8.516532665507835]
  本稿では,高速な計算と通信オーバヘッドを同時に低減するために,ゴシップに基づく通信を提案する。 我々は、特に低データ範囲において、より高速な初期収束と性能精度の向上を観察する。 UCI MLレポジトリのガンマ望遠鏡とmHealthデータセットで,それぞれ平均78%,90%以上の分類精度を達成した。
  論文  参考訳（メタデータ） (2023-11-06T20:11:41Z)
• Privacy-Preserving Joint Edge Association and Power Optimization for the Internet of Vehicles via Federated Multi-Agent Reinforcement Learning [74.53077322713548]
  プライバシ保護型共同エッジアソシエーションと電力配分問題について検討する。 提案されたソリューションは、最先端のソリューションよりも高いプライバシレベルを維持しながら、魅力的なトレードオフにぶつかる。
  論文  参考訳（メタデータ） (2023-01-26T10:09:23Z)
• Differentially Private Decentralized Optimization with Relay Communication [1.2695958417031445]
  プライバシリーク頻度(PLF)は,アルゴリズムの通信とプライバシリークの関係を明らかにする指標である。 DP-RECAL は, 演算子分割法と中継通信機構を利用して, PLF の低減を図っている。
  論文  参考訳（メタデータ） (2022-12-21T09:05:36Z)
• Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
  分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。 データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
  論文  参考訳（メタデータ） (2022-05-08T14:38:23Z)
• A Newton-type algorithm for federated learning based on incremental Hessian eigenvector sharing [5.404315085380945]
  我々は、フェデレートラーニング(FL)を高速化するために設計された、通信制約付きニュートン型(NT)アルゴリズムを提案する。 提案手法は実際のデータセットで完全に検証される。
  論文  参考訳（メタデータ） (2022-02-11T17:52:56Z)
• Finite-Time Consensus Learning for Decentralized Optimization with Nonlinear Gossiping [77.53019031244908]
  本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。 コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
  論文  参考訳（メタデータ） (2021-11-04T15:36:25Z)
• AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization [159.75564904944707]
  垂直連合学習(VFL)のための非同期準ニュートン(AsySQN)フレームワークを提案する。 提案アルゴリズムは、逆ヘッセン行列を明示的に計算することなく、近似して降下ステップをスケールする。 本稿では,非同期計算を採用することにより,計算資源の有効利用が期待できることを示す。
  論文  参考訳（メタデータ） (2021-09-26T07:56:10Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
  我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。 我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。 本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T13:08:12Z)
• Quantized Decentralized Stochastic Learning over Directed Graphs [52.94011236627326]
  有向グラフ上で通信する計算ノード間でデータポイントが分散される分散学習問題を考える。 モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人にメッセージ(モデル更新)を送信することによる通信負荷の大きなボトルネックに直面します。 本稿では,分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化分散学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-23T18:25:39Z)
• Communication-Efficient Decentralized Learning with Sparsification and Adaptive Peer Selection [13.963329236804586]
  本稿では,以下の特徴を持つ分散学習アルゴリズムを提案する。 各ワーカーは、高度に圧縮されたモデルで、各コミュニケーションラウンドで1人のピアと通信するだけです。 実験結果から,本アルゴリズムは通信トラフィックを大幅に削減し,比較的高帯域幅のピアを選択する。
  論文  参考訳（メタデータ） (2020-02-22T12:31:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。