Fugu-MT 論文翻訳(概要): Federated TD Learning over Finite-Rate Erasure Channels: Linear Speedup under Markovian Sampling

論文の概要: Federated TD Learning over Finite-Rate Erasure Channels: Linear Speedup under Markovian Sampling

arxiv url: http://arxiv.org/abs/2305.08104v1
Date: Sun, 14 May 2023 08:48:02 GMT
ステータス: 処理完了
システム内更新日: 2023-05-16 17:35:27.626916
Title: Federated TD Learning over Finite-Rate Erasure Channels: Linear Speedup under Markovian Sampling
Title（参考訳）: 有限レート消去チャネル上のフェデレーションTD学習:マルコフサンプリングによる線形高速化
Authors: Nicol\`o Dal Fabbro, Aritra Mitra and George J. Pappas
Abstract要約: エージェントが中央アグリゲータを介して通信し、共通ポリシの評価を迅速化するフェデレートポリシ評価問題について検討する。 FLにおける典型的な通信制約を捉えるために、ベルヌーイ消去モデルに基づいてパケットをドロップできる有限容量アップリンクチャネルを考える。本研究は, マルチエージェントおよびフェデレーション強化学習における非漸近的効果の分析を初めて行ったものである。
参考スコア（独自算出の注目度）: 17.870440210358847
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning (FL) has recently gained much attention due to its effectiveness in speeding up supervised learning tasks under communication and privacy constraints. However, whether similar speedups can be established for reinforcement learning remains much less understood theoretically. Towards this direction, we study a federated policy evaluation problem where agents communicate via a central aggregator to expedite the evaluation of a common policy. To capture typical communication constraints in FL, we consider finite capacity up-link channels that can drop packets based on a Bernoulli erasure model. Given this setting, we propose and analyze QFedTD - a quantized federated temporal difference learning algorithm with linear function approximation. Our main technical contribution is to provide a finite-sample analysis of QFedTD that (i) highlights the effect of quantization and erasures on the convergence rate; and (ii) establishes a linear speedup w.r.t. the number of agents under Markovian sampling. Notably, while different quantization mechanisms and packet drop models have been extensively studied in the federated learning, distributed optimization, and networked control systems literature, our work is the first to provide a non-asymptotic analysis of their effects in multi-agent and federated reinforcement learning.
Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は、コミュニケーションとプライバシの制約の下で教師付き学習タスクを高速化する効果により、最近注目を集めている。しかし、強化学習に類似したスピードアップが確立できるかどうかは理論的には理解されていない。本研究では,共通政策の評価を迅速化するために,エージェントが中央アグリゲータを介してコミュニケーションするフェデレート政策評価問題について検討する。 FLにおける典型的な通信制約を捉えるために、ベルヌーイ消去モデルに基づいてパケットをドロップできる有限容量アップリンクチャネルを考える。そこで本稿では,線形関数近似を用いた量子化フェデレーション時間差分学習アルゴリズムQFedTDを提案する。我々の主な技術的貢献はQFedTDの有限サンプル解析を提供することである。 (i) 量子化及び消去が収束率に及ぼす影響を強調する。 (ii) マルコフサンプリング下のエージェント数を線形スピードアップ w.r.t. とする。特に,共役学習,分散最適化,ネットワーク制御系文献において,異なる量子化機構やパケットドロップモデルが広く研究されてきたが,マルチエージェント・共役強化学習における効果の非漸近的解析を初めて行った。

関連論文リスト

Does Worst-Performing Agent Lead the Pack? Analyzing Agent Dynamics in Unified Distributed SGD [7.434126318858966]
分散学習は、異種エージェント間の機械学習アルゴリズムのトレーニングに不可欠である。我々は統一分散SGD(UD-SGD)の分析を行う。我々は、UD-SGDの収束速度に、サンプリング、シャッフル、マルコフサンプリングなどの異なるサンプリング戦略がどう影響するかを評価する。
論文参考訳（メタデータ） (2024-09-26T03:12:20Z)
SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
論文参考訳（メタデータ） (2024-08-15T17:50:07Z)
Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
論文参考訳（メタデータ） (2024-03-05T17:49:09Z)
Asynchronous Federated Learning with Bidirectional Quantized Communications and Buffered Aggregation [39.057968279167966]
Asynchronous Federated Learning with Buffered Aggregation (FedBuff)は、その効率性と高いスケーラビリティで知られている最先端のアルゴリズムである。直接量子化によるエラー伝搬を回避するために,サーバとクライアント間で共有された"隠れ"状態を確立する量子化スキームを備えた新しいアルゴリズム(QAFeL)を提案する。
論文参考訳（メタデータ） (2023-08-01T03:50:58Z)
Conformal Prediction for Federated Uncertainty Quantification Under Label Shift [57.54977668978613]
Federated Learning(FL)は、多くのクライアントが協力してモデルをトレーニングする機械学習フレームワークである。我々は、量子回帰に基づく新しいコンフォメーション予測法を開発し、プライバシー制約を考慮した。
論文参考訳（メタデータ） (2023-06-08T11:54:58Z)
An Analysis of Quantile Temporal-Difference Learning [53.36758478669685]
量子時間差学習(QTD)は、強化学習の大規模応用において重要な要素であることが証明されている。古典的なTD学習とは異なり、QTD更新は縮小写像を近似せず、非常に非線形であり、複数の固定点を持つ。本稿では,確率 1 の動的プログラミング手順の関連ファミリの固定点への収束の証明である。
論文参考訳（メタデータ） (2023-01-11T13:41:56Z)
Wireless Quantized Federated Learning: A Joint Computation and Communication Design [36.35684767732552]
本稿では、アップリンク伝送前の局所モデルパラメータを定量化することにより、FLの総収束時間を最小化することを目的とする。グローバルラウンド全体の収束時間を最小限に抑えるため,計算,通信資源,量子化ビット数を共同で最適化する。
論文参考訳（メタデータ） (2022-03-11T12:30:08Z)
On Finite-Sample Analysis of Offline Reinforcement Learning with Deep ReLU Networks [46.067702683141356]
深層RELUネットワークを用いたオフライン強化学習の統計理論について検討する。我々は,オフラインデータの分布変化,入力空間の次元,システムの正則性がOPE推定誤差を制御する方法の定量化を行う。
論文参考訳（メタデータ） (2021-03-11T14:01:14Z)
Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
論文参考訳（メタデータ） (2021-02-08T19:14:21Z)
Federated Learning with Communication Delay in Edge Networks [5.500965885412937]
フェデレーション学習は、エッジネットワークを通じて機械学習(ML)モデルのトレーニングを分散する潜在的なソリューションとして、大きな注目を集めている。この研究は、エッジノードとアグリゲータ間の通信遅延という、ネットワークエッジにおけるフェデレーション学習の重要な考慮事項に対処する。 FedDelAvg(フェデレート遅延平均化)と呼ばれる手法が開発され、標準フェデレーション平均化アルゴリズムを一般化し、同期ステップ中に各デバイスで受信した現在のローカルモデルと遅延グローバルモデルとの重み付けを組み込む。
論文参考訳（メタデータ） (2020-08-21T06:21:35Z)
A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg [49.76940694847521]
フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
論文参考訳（メタデータ） (2020-07-11T05:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。