論文の概要: Communication Efficient Federated Learning via Ordered ADMM in a Fully Decentralized Setting

• arxiv url: http://arxiv.org/abs/2202.02580v1
• Date: Sat, 5 Feb 2022 15:32:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-11 08:21:58.005459
• Title: Communication Efficient Federated Learning via Ordered ADMM in a Fully Decentralized Setting
• Title（参考訳）: 完全分散環境における順序付きADMMによる効果的なフェデレーション学習
• Authors: Yicheng Chen, Rick S. Blum, and Brian M. Sadler
• Abstract要約: 命令型乗算器の交互方向法(OADMM)と呼ばれる通信効率のよいアルゴリズムを考案した。 OADMMの変種はSOADMMと呼ばれ、送信を順序付けするが、各ノードごとに送信が停止されることは決してない。
• 参考スコア（独自算出の注目度）: 32.41824379833395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The challenge of communication-efficient distributed optimization has attracted attention in recent years. In this paper, a communication efficient algorithm, called ordering-based alternating direction method of multipliers (OADMM) is devised in a general fully decentralized network setting where a worker can only exchange messages with neighbors. Compared to the classical ADMM, a key feature of OADMM is that transmissions are ordered among workers at each iteration such that a worker with the most informative data broadcasts its local variable to neighbors first, and neighbors who have not transmitted yet can update their local variables based on that received transmission. In OADMM, we prohibit workers from transmitting if their current local variables are not sufficiently different from their previously transmitted value. A variant of OADMM, called SOADMM, is proposed where transmissions are ordered but transmissions are never stopped for each node at each iteration. Numerical results demonstrate that given a targeted accuracy, OADMM can significantly reduce the number of communications compared to existing algorithms including ADMM. We also show numerically that SOADMM can accelerate convergence, resulting in communication savings compared to the classical ADMM.
• Abstract（参考訳）: 近年,通信効率のよい分散最適化の課題が注目されている。 本稿では、作業者が隣人とのみメッセージを交換できる一般的な完全分散ネットワーク設定において、順序に基づく乗算器の交互方向法(oadmm)と呼ばれる通信効率のよいアルゴリズムを考案する。 従来のADMMと比較して、OADMMの重要な特徴は、最も情報性の高いデータを持つ労働者がそのローカル変数を最初に隣人にブロードキャストし、まだ送信していない隣人が受信した送信に基づいてローカル変数を更新できるように、各イテレーションでワーカー間で送信が順序付けられていることである。 OADMMでは、現在のローカル変数が以前送信された値と十分に変わらない場合、ワーカーの送信を禁止します。 OADMMの変種はSOADMMと呼ばれ、送信を順序付けするが、各ノードごとに送信が停止されることは決してない。 数値計算の結果,OADMMはADMMを含む既存のアルゴリズムと比較して通信回数を大幅に削減できることがわかった。 また,従来のADMMと比較して,SOADMMが収束を加速し,通信の節約につながることを示す。

関連論文リスト

• Efficient Distribution Matching of Representations via Noise-Injected Deep InfoMax [73.03684002513218]
  我々はDeep InfoMax(DIM)を拡張し、学習した表現を選択された事前分布に自動マッチングできるようにする。 このような修正により、一様かつ通常に分散した表現を学習できることを示す。 その結果,下流作業における性能とDMの品質の中間的なトレードオフが示唆された。
  論文  参考訳（メタデータ） (2024-10-09T15:40:04Z)
• Limited Communications Distributed Optimization via Deep Unfolded Distributed ADMM [27.09017677987757]
  本稿では,D-ADMMが各エージェントによって交換される少数のメッセージで確実に動作できるようにするための展開D-ADMMを提案する。 分散推定タスクと分散学習シナリオの2つの代表的な設定に対して,展開D-ADMMを特化している。 提案手法は,D-ADMMの通信性能を損なうことなく,D-ADMMの通信回数を大幅に削減することを示す。
  論文  参考訳（メタデータ） (2023-09-21T08:05:28Z)
• Dynamic Size Message Scheduling for Multi-Agent Communication under Limited Bandwidth [5.590219593864609]
  本稿では,動的サイズメッセージスケジューリング(DSMS)手法を提案する。 我々の貢献は、フーリエ変換に基づく圧縮技術を用いて、メッセージサイズを適応的に調整することにある。 実験の結果,DSMSは多エージェント協調作業の性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-06-16T18:33:11Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)
• Learning Regionally Decentralized AC Optimal Power Flows with ADMM [16.843799157160063]
  本稿では,AC-OPFを解くためのADMMの収束を高速化する上で,機械学習がいかに役立つかを検討する。 ML-ADMMと呼ばれる新しい分散機械学習手法を提案し、各エージェントはディープラーニングを使用して結合ブランチのコンセンサスパラメータを学習する。
  論文  参考訳（メタデータ） (2022-05-08T05:30:35Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Distributed ADMM with Synergetic Communication and Computation [39.930150618785355]
  本稿では,相乗的通信と計算を併用した多元性アルゴリズム(ADMM)の分散交互方向法を提案する。 提案アルゴリズムでは,各ノードは隣接ノードの一部のみと相互作用し,その数は探索手順に従って徐々に決定される。 提案アルゴリズムの収束を証明し,ランダム性による収束分散の上限を与える。
  論文  参考訳（メタデータ） (2020-09-29T08:36:26Z)
• Communication Efficient Distributed Learning with Censored, Quantized, and Generalized Group ADMM [52.12831959365598]
  本稿では,相互接続作業者のネットワーク上で定義されたコンセンサス最適化問題を解決するための,コミュニケーション効率のよい分散機械学習フレームワークを提案する。 提案アルゴリズムであるCensored and Quantized Generalized GADMMは、GADMM(Group Alternating Direction Method of Multipliers)の労働者グループ化と分散学習のアイデアを活用する。 CQ-GGADMMは通信ラウンド数で高い通信効率を示し、精度と収束速度を損なうことなくエネルギー消費を伝達する。
  論文  参考訳（メタデータ） (2020-09-14T14:18:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。