論文の概要: Communication-Efficient Personalized Distributed Learning with Data and Node Heterogeneity

• arxiv url: http://arxiv.org/abs/2504.17520v1
• Date: Thu, 24 Apr 2025 13:02:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.371265
• Title: Communication-Efficient Personalized Distributed Learning with Data and Node Heterogeneity
• Title（参考訳）: データとノードの不均一性を用いたコミュニケーション効率の良いパーソナライズド・分散学習
• Authors: Zhuojun Tian, Zhaoyang Zhang, Yiwei Li, Mehdi Bennis,
• Abstract要約: 本稿では,コミュニケーション効率のよいパーソナライズされた学習アルゴリズムを考案した分散強抽選チケット仮説(TH)を提案する。 提案手法では,各局所モデルは,大域的実数値パラメータのアダマール積とパーソナライズされた2値マスクとして表現される。 本稿では,DSLTHの理論的証明を提案し,提案手法の基礎として確立する。
• 参考スコア（独自算出の注目度）: 40.64395367773766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To jointly tackle the challenges of data and node heterogeneity in decentralized learning, we propose a distributed strong lottery ticket hypothesis (DSLTH), based on which a communication-efficient personalized learning algorithm is developed. In the proposed method, each local model is represented as the Hadamard product of global real-valued parameters and a personalized binary mask for pruning. The local model is learned by updating and fusing the personalized binary masks while the real-valued parameters are fixed among different agents. To further reduce the complexity of hardware implementation, we incorporate a group sparse regularization term in the loss function, enabling the learned local model to achieve structured sparsity. Then, a binary mask aggregation algorithm is designed by introducing an intermediate aggregation tensor and adding a personalized fine-tuning step in each iteration, which constrains model updates towards the local data distribution. The proposed method effectively leverages the relativity among agents while meeting personalized requirements in heterogeneous node conditions. We also provide a theoretical proof for the DSLTH, establishing it as the foundation of the proposed method. Numerical simulations confirm the validity of the DSLTH and demonstrate the effectiveness of the proposed algorithm.
• Abstract（参考訳）: 分散化学習におけるデータとノードの不均一性の課題を共同で解決するために,コミュニケーション効率の高いパーソナライズされた学習アルゴリズムを考案した分散強宝くじ仮説(DSLTH)を提案する。 提案手法では,各局所モデルは,大域的実数値パラメータのアダマール積とパーソナライズされた2値マスクとして表現される。 ローカルモデルは、パーソナライズされたバイナリマスクの更新と融合によって学習され、実際の値パラメータは異なるエージェント間で固定される。 ハードウェア実装の複雑さをさらに軽減するため、損失関数にグループスパース正規化項を組み込むことにより、学習した局所モデルを構造化された空間性を達成することができる。 次に、中間アグリゲーションテンソルを導入し、各イテレーションにパーソナライズされた微調整ステップを追加することにより、モデル更新を局所データ分布に制限する二項マスクアグリゲーションアルゴリズムを設計する。 提案手法は,異種ノード条件のパーソナライズ要件を満たしつつ,エージェント間の相対性を効果的に活用する。 提案手法の基礎として,DSLTHの理論的証明も提供する。 数値シミュレーションにより、DSLTHの有効性を確認し、提案アルゴリズムの有効性を示す。

関連論文リスト

• A Novel Pearson Correlation-Based Merging Algorithm for Robust Distributed Machine Learning with Heterogeneous Data [0.0]
  本稿では,局所的な更新の質を改善し,グローバルモデルのロバスト性を高めるための新しい手法を提案する。 提案アルゴリズムは,グローバルモデルの精度を維持しながら,局所ノード数を削減する。 シミュレーション学習シナリオにおけるMNISTデータセットの実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2025-01-19T16:59:07Z)
• Vanishing Variance Problem in Fully Decentralized Neural-Network Systems [0.8212195887472242]
  フェデレートラーニングとゴシップラーニングは、データプライバシの懸念を軽減するために考案された方法論だ。 本研究では,分散補正モデル平均化アルゴリズムを提案する。 シミュレーションの結果,Gossip学習は,フェデレート学習に匹敵する収束効率を実現することができることがわかった。
  論文  参考訳（メタデータ） (2024-04-06T12:49:20Z)
• FedSym: Unleashing the Power of Entropy for Benchmarking the Algorithms for Federated Learning [1.4656078321003647]
  Federated Learning(FL)は、独立した学習者がデータをプライベートに処理する分散機械学習アプローチである。 現在普及しているデータ分割技術について検討し、その主な欠点を可視化する。 エントロピーと対称性を利用して「最も困難」かつ制御可能なデータ分布を構築する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T18:39:08Z)
• FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
  我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。 IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-28T08:07:28Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。