Fugu-MT 論文翻訳(概要): A Communication-Efficient Adaptive Algorithm for Federated Learning under Cumulative Regret

論文の概要: A Communication-Efficient Adaptive Algorithm for Federated Learning under Cumulative Regret

arxiv url: http://arxiv.org/abs/2301.08869v2
Date: Mon, 5 Jun 2023 18:23:06 GMT
ステータス: 処理完了
システム内更新日: 2023-06-07 21:06:34.155374
Title: A Communication-Efficient Adaptive Algorithm for Federated Learning under Cumulative Regret
Title（参考訳）: 累積回帰の下でのフェデレーション学習のための通信効率の良い適応アルゴリズム
Authors: Sudeep Salgia, Qing Zhao, Tamir Gabay, Kobi Cohen
Abstract要約: 学習地平線全体を通して送信されるビットの総数で測定される通信コストを低くして,順序最適累積後悔を実現する分散オンライン学習アルゴリズムを開発した。
参考スコア（独自算出の注目度）: 22.80372994021181
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We consider the problem of online stochastic optimization in a distributed setting with $M$ clients connected through a central server. We develop a distributed online learning algorithm that achieves order-optimal cumulative regret with low communication cost measured in the total number of bits transmitted over the entire learning horizon. This is in contrast to existing studies which focus on the offline measure of simple regret for learning efficiency. The holistic measure for communication cost also departs from the prevailing approach that \emph{separately} tackles the communication frequency and the number of bits in each communication round.
Abstract（参考訳）: 中央サーバを介して接続されたM$のクライアントを持つ分散環境でのオンライン確率最適化の問題点を考察する。学習地平線全体を通して送信されるビットの総数で測定される通信コストを低くして,順序最適累積後悔を実現する分散オンライン学習アルゴリズムを開発した。これは、学習効率に対する単純な後悔のオフライン尺度に焦点を当てた既存の研究とは対照的である。通信コストの全体論的な尺度は、各通信ラウンドの通信周波数とビット数を扱う一般的なアプローチからも離れている。

関連論文リスト

Federated Q-Learning with Reference-Advantage Decomposition: Almost Optimal Regret and Logarithmic Communication Cost [4.895986534376972]
本稿では,FedQ-Advantageと呼ばれる新しいモデルフリーなフェデレーションQ-ラーニングアルゴリズムを提案する。我々のアルゴリズムは対数通信コストを低くするだけでなく、時間的地平線が十分に大きい場合と比較して、対数係数に縛られた情報とほぼ直線的後悔のスピードアップに到達して、ほぼ最適の後悔を達成する。
論文参考訳（メタデータ） (2024-05-29T06:26:52Z)
Federated Q-Learning: Linear Regret Speedup with Low Communication Cost [4.380110270510058]
本稿では,FedQ-HoeffdingとFedQ-Bernsteinという2つの連合Qラーニングアルゴリズムを提案する。時間的地平線が十分に大きい場合, 対応する全後悔は, 単エージェントと比較して直線的なスピードアップを達成することを示す。これらの結果は、エージェントとサーバ間のイベントトリガー同期機構に依存します。
論文参考訳（メタデータ） (2023-12-22T19:14:09Z)
Composite federated learning with heterogeneous data [11.40641907024708]
本稿では,複合フェデレート学習(FL)問題を解くための新しいアルゴリズムを提案する。このアルゴリズムは、近似演算子と通信を戦略的に分離することで非滑らかな正規化を管理し、データ類似性に関する仮定なしにクライアントのドリフトに対処する。提案アルゴリズムは最適解の近傍に線形に収束し,数値実験における最先端手法よりもアルゴリズムの優位性を示す。
論文参考訳（メタデータ） (2023-09-04T20:22:57Z)
Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文参考訳（メタデータ） (2023-08-31T12:22:40Z)
QC-ODKLA: Quantized and Communication-Censored Online Decentralized Kernel Learning via Linearized ADMM [30.795725108364724]
本稿では,分散ネットワーク上でのオンラインカーネル学習に焦点を当てる。線形化ADMMを用いたオンライン分散カーネル学習という新しい学習フレームワークを提案する。
論文参考訳（メタデータ） (2022-08-04T17:16:27Z)
Fundamental Limits of Communication Efficiency for Model Aggregation in Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。 SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
論文参考訳（メタデータ） (2022-06-28T13:10:40Z)
Communication Efficient Distributed Learning for Kernelized Contextual Bandits [58.78878127799718]
分散環境でのカーネル化されたコンテキスト帯域の学習における通信効率の課題に対処する。我々は、エージェントが再現されたカーネルヒルベルト空間で協調的に探索できるようにすることにより、非線形報酬写像を考える。我々は, 後悔とコミュニケーションの両コストにおいて, アルゴリズムがサブ線形レートを達成できることを厳格に証明した。
論文参考訳（メタデータ） (2022-06-10T01:39:15Z)
DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文参考訳（メタデータ） (2022-06-01T02:20:57Z)
Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。無線システム上での高速応答および高精度FLスキームの検証が重要である。提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文参考訳（メタデータ） (2021-10-22T13:25:57Z)
Asynchronous Upper Confidence Bound Algorithms for Federated Linear Bandits [35.47147821038291]
本稿では,同種クライアントと異種クライアントの集合に対する非同期モデル更新と通信を行う汎用フレームワークを提案する。この分散学習フレームワークにおける後悔とコミュニケーションのコストに関する厳密な理論的分析が提供される。
論文参考訳（メタデータ） (2021-10-04T14:01:32Z)
Accelerating Federated Edge Learning via Optimized Probabilistic Device Scheduling [57.271494741212166]
本稿では,通信時間最小化問題を定式化し,解決する。最適化されたポリシーは、トレーニングプロセスが進むにつれて、残りの通信ラウンドの抑制から、ラウンドごとのレイテンシの低減へと、徐々に優先順位を転換している。提案手法の有効性は,自律運転における協調的3次元目標検出のユースケースを通じて実証される。
論文参考訳（メタデータ） (2021-07-24T11:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。