Fugu-MT 論文翻訳(概要): Communication-Efficient ADMM-based Federated Learning

論文の概要: Communication-Efficient ADMM-based Federated Learning

arxiv url: http://arxiv.org/abs/2110.15318v1
Date: Thu, 28 Oct 2021 17:32:46 GMT
ステータス: 処理完了
システム内更新日: 2021-10-29 16:07:16.629807
Title: Communication-Efficient ADMM-based Federated Learning
Title（参考訳）: 通信効率の高いadmmベース連合学習
Authors: Shenglong Zhou and Geoffrey Ye Li
Abstract要約: 本稿では,ADMMに基づくフェデレーション学習を正確にかつ不正確に行うことを提案する。それらは通信効率だけでなく、凸性のない、データ分布に無関係なような非常に穏やかな条件下で線形に収束する。
参考スコア（独自算出の注目度）: 45.9691502335753
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning has shown its advances over the last few years but is facing many challenges, such as how algorithms save communication resources, how they reduce computational costs, and whether they converge. To address these issues, this paper proposes exact and inexact ADMM-based federated learning. They are not only communication-efficient but also converge linearly under very mild conditions, such as convexity-free and irrelevance to data distributions. Moreover, the inexact version has low computational complexity, thereby alleviating the computational burdens significantly.
Abstract（参考訳）: フェデレーション学習はここ数年で進歩を見せているが、アルゴリズムがコミュニケーションリソースを節約する方法、計算コストの削減方法、収束するかどうかなど、多くの課題に直面している。これらの課題に対処するために,ADMMに基づく連邦学習を正確にかつ不正確に行うことを提案する。これらは通信効率だけでなく、凸性フリーやデータ分布と無関係といった非常に穏やかな条件下で線形に収束する。さらに、不正確なバージョンは計算複雑性が低く、計算負担を大幅に軽減する。

関連論文リスト

Federated Q-Learning with Reference-Advantage Decomposition: Almost Optimal Regret and Logarithmic Communication Cost [4.895986534376972]
本稿では,FedQ-Advantageと呼ばれる新しいモデルフリーなフェデレーションQ-ラーニングアルゴリズムを提案する。我々のアルゴリズムは対数通信コストを低くするだけでなく、時間的地平線が十分に大きい場合と比較して、対数係数に縛られた情報とほぼ直線的後悔のスピードアップに到達して、ほぼ最適の後悔を達成する。
論文参考訳（メタデータ） (2024-05-29T06:26:52Z)
MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
MindStarは、大言語モデルの純粋に推論に基づく探索手法である。推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
論文参考訳（メタデータ） (2024-05-25T15:07:33Z)
Distributed Event-Based Learning via ADMM [11.461617927469316]
エージェントがネットワーク上で情報を交換することで,グローバルな目的関数を最小限に抑える分散学習問題を考える。提案手法には2つの特徴がある: (i) 必要なときにのみ通信をトリガーすることで通信を大幅に削減し, (ii) 異なるエージェント間のデータ分散に非依存である。
論文参考訳（メタデータ） (2024-05-17T08:30:28Z)
Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文参考訳（メタデータ） (2023-08-31T12:22:40Z)
FedGiA: An Efficient Hybrid Algorithm for Federated Learning [39.777714678378736]
フェデレートラーニングは最近その進歩を見せているが、まだ多くの課題に直面している。本稿では,乗算器の勾配降下と不正確な交互方向法を組み合わせたハイブリッド・フェデレーション学習アルゴリズム(FedGiA)を提案する。
論文参考訳（メタデータ） (2022-05-03T11:56:33Z)
Federated Learning via Inexact ADMM [46.99210047518554]
本稿では,乗算器の不正確な交互方向法(ADMM)を提案する。どちらも通信効率が高く、ストラグラー効果と戦うことができ、穏やかな条件下で収束する。フェデレート学習のためのいくつかの最先端アルゴリズムと比較して高い数値性能を持つ。
論文参考訳（メタデータ） (2022-04-22T09:55:33Z)
Resource-constrained Federated Edge Learning with Heterogeneous Data: Formulation and Analysis [8.863089484787835]
ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。 FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
論文参考訳（メタデータ） (2021-10-14T17:35:24Z)
AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization [159.75564904944707]
垂直連合学習(VFL)のための非同期準ニュートン(AsySQN)フレームワークを提案する。提案アルゴリズムは、逆ヘッセン行列を明示的に計算することなく、近似して降下ステップをスケールする。本稿では,非同期計算を採用することにより,計算資源の有効利用が期待できることを示す。
論文参考訳（メタデータ） (2021-09-26T07:56:10Z)
CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文参考訳（メタデータ） (2020-12-15T12:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。