論文の概要: Distributed Event-Based Learning via ADMM

• arxiv url: http://arxiv.org/abs/2405.10618v1
• Date: Fri, 17 May 2024 08:30:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 16:42:27.383497
• Title: Distributed Event-Based Learning via ADMM
• Title（参考訳）: ADMMによる分散イベントベース学習
• Authors: Guner Dilsad Er, Sebastian Trimpe, Michael Muehlebach,
• Abstract要約: エージェントがネットワーク上で情報を交換することで,グローバルな目的関数を最小限に抑える分散学習問題を考える。 提案手法には2つの特徴がある: (i) 必要なときにのみ通信をトリガーすることで通信を大幅に削減し, (ii) 異なるエージェント間のデータ分散に非依存である。
• 参考スコア（独自算出の注目度）: 11.461617927469316
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We consider a distributed learning problem, where agents minimize a global objective function by exchanging information over a network. Our approach has two distinct features: (i) It substantially reduces communication by triggering communication only when necessary, and (ii) it is agnostic to the data-distribution among the different agents. We can therefore guarantee convergence even if the local data-distributions of the agents are arbitrarily distinct. We analyze the convergence rate of the algorithm and derive accelerated convergence rates in a convex setting. We also characterize the effect of communication drops and demonstrate that our algorithm is robust to communication failures. The article concludes by presenting numerical results from a distributed LASSO problem, and distributed learning tasks on MNIST and CIFAR-10 datasets. The experiments underline communication savings of 50% or more due to the event-based communication strategy, show resilience towards heterogeneous data-distributions, and highlight that our approach outperforms common baselines such as FedAvg, FedProx, and FedADMM.
• Abstract（参考訳）: エージェントがネットワーク上で情報を交換することで,グローバルな目的関数を最小限に抑える分散学習問題を考える。 私たちのアプローチには2つの異なる特徴があります。 一 必要なときにのみ通信をトリガーすることにより通信を著しく減らすこと。 (ii)異なるエージェント間のデータ分配に非依存である。 したがって、エージェントの局所的なデータ分散が任意に異なる場合でも収束を保証することができる。 我々は,アルゴリズムの収束率を分析し,凸条件下での加速収束率を導出する。 また,通信損失の影響を特徴付けるとともに,通信障害に対してアルゴリズムが堅牢であることを示す。 本稿では,分散LASSO問題による数値結果と,MNISTおよびCIFAR-10データセット上での分散学習タスクについて述べる。 この実験は、イベントベースのコミュニケーション戦略により、50%以上の通信節約を図り、異種データ配信に対するレジリエンスを示し、我々のアプローチがFedAvg、FedProx、FedADMMといった一般的なベースラインを上回ることを強調した。

関連論文リスト

• Faster Convergence on Heterogeneous Federated Edge Learning: An Adaptive Clustered Data Sharing Approach [27.86468387141422]
  Federated Edge Learning (FEEL)は、6G Hyper-Connectivityのための分散機械学習パラダイムのパイオニアとして登場した。 現在のFEELアルゴリズムは、非独立かつ非独立に分散した(非IID)データと競合し、通信コストの上昇とモデルの精度が損なわれる。 我々はクラスタ化データ共有フレームワークを導入し、クラスタヘッドから信頼されたアソシエイトに部分的なデータを選択的に共有することで、データの均一性を緩和する。 実験により, このフレームワークは, 限られた通信環境において, 収束速度が速く, モデル精度が高い非IIDデータセット上で FEEL を促進することを示した。
  論文  参考訳（メタデータ） (2024-06-14T07:22:39Z)
• Tackling Distribution Shifts in Task-Oriented Communication with Information Bottleneck [28.661084093544684]
  本稿では,情報ボトルネック(IB)原理と不変リスク最小化(IRM)フレームワークに基づく新しいアプローチを提案する。 提案手法は,効率的な領域シフト一般化のための高機能を有するコンパクトかつ情報的特徴を抽出することを目的としている。 提案手法は最先端の手法より優れ、より優れたレート歪みトレードオフを実現することを示す。
  論文  参考訳（メタデータ） (2024-05-15T17:07:55Z)
• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Decentralized Learning over Wireless Networks: The Effect of Broadcast with Random Access [56.91063444859008]
  本稿では,D-SGDのコンバージェンス性能に及ぼす放送送信と確率的ランダムアクセスポリシーの影響について検討する。 この結果から,アクセス確率を最適化し,期待されるリンク数の最大化が,システム収束を加速するための極めて効果的な戦略であることが示唆された。
  論文  参考訳（メタデータ） (2023-05-12T10:32:26Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• A Newton-type algorithm for federated learning based on incremental Hessian eigenvector sharing [5.404315085380945]
  我々は、フェデレートラーニング(FL)を高速化するために設計された、通信制約付きニュートン型(NT)アルゴリズムを提案する。 提案手法は実際のデータセットで完全に検証される。
  論文  参考訳（メタデータ） (2022-02-11T17:52:56Z)
• Federated Learning with Compression: Unified Analysis and Sharp Guarantees [39.092596142018195]
  通信コストは、数百万のデバイスからモデルを学ぶために分散最適化アルゴリズムをスケールアップする上で、重要なボトルネックとなることが多い。 フェデレーション圧縮と計算の通信オーバーヘッドに対処する2つの顕著な傾向は、信頼できない圧縮と不均一な通信である。 等質データと異質データの両方における収束度を解析する。
  論文  参考訳（メタデータ） (2020-07-02T14:44:07Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)
• Federated Matrix Factorization: Algorithm Design and Application to Data Clustering [18.917444528804463]
  データプライバシに関する近年の要求は、大規模で異種ネットワークにおける新たな分散学習パラダイムとして、フェデレートラーニング(FL)を提唱している。 我々は,モデル平均化と勾配共有原理に基づく2つの新しいFedMFアルゴリズム,すなわちFedMAvgとFedMGSを提案する。
  論文  参考訳（メタデータ） (2020-02-12T11:48:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。