論文の概要: Age-of-Gradient Updates for Federated Learning over Random Access Channels
- arxiv url: http://arxiv.org/abs/2410.11986v1
- Date: Tue, 15 Oct 2024 18:49:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-17 13:41:01.362027
- Title: Age-of-Gradient Updates for Federated Learning over Random Access Channels
- Title（参考訳）: ランダムアクセスチャンネル上でのフェデレーション学習の経年的更新
- Authors: Yu Heng Wu, Houman Asgari, Stefano Rini, Andrea Munari,
- Abstract要約: ランダムアクセスチャネル(RACH)上でのディープニューラルネットワーク(DNN)のフェデレーショントレーニングの問題点について検討する。
RACH-FL設定は、(i)クライアント選択と(ii)勾配圧縮戦略を共同で設計する問題に決定的に対処する。
我々は、(i)Top-Kスペーシフィケーションを用いて勾配スペーシフィケーションを行い、(ii)メモリ蓄積を用いて誤り訂正を行い、(iii)現在のローカルメモリを比較してスロット送信確率を求める政策を提案する。
- 参考スコア（独自算出の注目度）: 13.337006106442738
- License:
- Abstract: This paper studies the problem of federated training of a deep neural network (DNN) over a random access channel (RACH) such as in computer networks, wireless networks, and cellular systems. More precisely, a set of remote users participate in training a centralized DNN model using SGD under the coordination of a parameter server (PS). The local model updates are transmitted from the remote users to the PS over a RACH using a slotted ALOHA protocol. The PS collects the updates from the remote users, accumulates them, and sends central model updates to the users at regular time intervals. We refer to this setting as the RACH-FL setting. The RACH-FL setting crucially addresses the problem of jointly designing a (i) client selection and (ii) gradient compression strategy which addresses the communication constraints between the remote users and the PS when transmission occurs over a RACH. For the RACH-FL setting, we propose a policy, which we term the ''age-of-gradient'' (AoG) policy in which (i) gradient sparsification is performed using top-K sparsification, (ii) the error correction is performed using memory accumulation, and (iii) the slot transmission probability is obtained by comparing the current local memory magnitude minus the magnitude of the gradient update to a threshold. Intuitively, the AoG measure of ''freshness'' of the memory state is reminiscent of the concept of age-of-information (AoI) in the context of communication theory and provides a rather natural interpretation of this policy. Numerical simulations show the superior performance of the AoG policy as compared to other RACH-FL policies.
- Abstract（参考訳）: 本稿では,コンピュータネットワーク,無線ネットワーク,セルシステムなどのランダムアクセスチャネル(RACH)上でのディープニューラルネットワーク(DNN)のフェデレートトレーニングの問題について検討する。
より正確には、一組のリモートユーザがパラメータサーバ(PS)の協調の下でSGDを使用して集中DNNモデルをトレーニングする。
ローカルモデル更新は、ALOHAプロトコルを使用してRACHを介してリモートユーザからPSに送信される。
PSは、リモートユーザーから更新を収集し、それらを蓄積し、定期的にユーザーに対して中央モデルのアップデートを送信する。
この設定をRACH-FL設定と呼ぶ。
RACH-FL設定は、共同設計の問題に決定的に対処する。
(i)クライアントの選択
二 RACH上での送信時に遠隔ユーザとPS間の通信制約に対処する勾配圧縮戦略。
RACH-FL設定において、我々は「段階的な(AoG)政策」という政策を提案する。
(i)Top-Kスペーシフィケーションを用いて勾配スペーシフィケーションを行う。
(ii)メモリ蓄積を用いて誤り訂正を行い、
三 現在の局所記憶の大きさを勾配更新の程度を閾値に抑えることによりスロット送信確率を得る。
直感的には、記憶状態の「フレッシュネス」のAoG測度は、コミュニケーション理論の文脈における情報年齢(AoI)の概念を想起させ、このポリシーのかなり自然な解釈を提供する。
数値シミュレーションは、他のRACH-FLポリシーと比較してAoGポリシーの優れた性能を示している。
関連論文リスト
- Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。
我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
論文 参考訳（メタデータ） (2024-04-04T06:24:11Z) - Adaptive Coded Federated Learning: Privacy Preservation and Straggler Mitigation [33.56146654796337]
トラグラーの負の影響を軽減するために、符号化された連合学習フレームワークが提案されている。
本稿では,この欠点を克服するために,適応符号化フェデレーション学習(ACFL)という新しい手法を提案する。
論文 参考訳（メタデータ） (2024-03-22T01:51:48Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳（メタデータ） (2023-08-09T04:34:21Z) - Decentralized Federated Reinforcement Learning for User-Centric Dynamic
TFDD Control [37.54493447920386]
非対称かつ不均一なトラフィック要求を満たすための学習に基づく動的時間周波数分割二重化(D-TFDD)方式を提案する。
分散化された部分観測可能なマルコフ決定過程(Dec-POMDP)として問題を定式化する。
本稿では,グローバルリソースを分散的に最適化するために,Wolpertinger Deep Deterministic Policy gradient (FWDDPG)アルゴリズムという,連合強化学習(RL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-11-04T07:39:21Z) - Age of Semantics in Cooperative Communications: To Expedite Simulation
Towards Real via Offline Reinforcement Learning [53.18060442931179]
協調リレー通信システムにおける状態更新のセマンティックス更新度を測定するための意味学年代(AoS)を提案する。
オンライン・ディープ・アクター・クリティック(DAC)学習手法を,政治時間差学習の枠組みに基づいて提案する。
そこで我々は,以前に収集したデータセットから最適制御ポリシーを推定する,新しいオフラインDAC方式を提案する。
論文 参考訳（メタデータ） (2022-09-19T11:55:28Z) - Learning Resilient Radio Resource Management Policies with Graph Neural
Networks [124.89036526192268]
我々は、ユーザ当たりの最小容量制約でレジリエントな無線リソース管理問題を定式化する。
有限個のパラメータ集合を用いてユーザ選択と電力制御ポリシーをパラメータ化できることを示す。
このような適応により,提案手法は平均レートと5番目のパーセンタイルレートとの良好なトレードオフを実現する。
論文 参考訳（メタデータ） (2022-03-07T19:40:39Z) - Wireless Federated Learning with Limited Communication and Differential
Privacy [21.328507360172203]
本稿では,空力計算(AirComp)に基づくフェデレーション学習(FL)モデルにおいて,リモートユーザにおけるローカルデータセットの効率的な通信と差分プライバシー(DP)における次元性低減の役割について検討する。
論文 参考訳（メタデータ） (2021-06-01T15:23:12Z) - A Reinforcement Learning Approach to Age of Information in Multi-User
Networks with HARQ [1.5469452301122177]
ソースノードから複数のユーザへのタイムセンシティブな情報の送信を,エラーが発生しやすい通信チャネル上でスケジューリングする。
リソースの長期平均制約はソースに課され、送信の平均数を制限します。
論文 参考訳（メタデータ） (2021-02-19T07:30:44Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳（メタデータ） (2020-10-08T15:27:50Z) - Multi-Armed Bandit Based Client Scheduling for Federated Learning [91.91224642616882]
統合学習(FL)は、通信オーバーヘッドの低減やデータのプライバシの保護など、ユビキタスな特性を特徴とする。
FLの各通信ラウンドでは、クライアントは自身のデータに基づいてローカルモデルを更新し、無線チャネル経由でローカル更新をアップロードする。
本研究は、無線チャネルの状態情報やクライアントの統計的特性を知ることなく、FLにおけるオンラインクライアントスケジューリング(CS)のためのマルチアームバンディットベースのフレームワークを提供する。
論文 参考訳（メタデータ） (2020-07-05T12:32:32Z) - Efficient Federated Learning over Multiple Access Channel with
Differential Privacy Constraints [9.251773744318118]
マルチアクセスチャネル(MAC)上でのクライアントとパラメータサーバ(PS)間のデジタル通信を通じて、連邦学習(FL)の問題を研究する。
本稿では,分散デジタル勾配(D-DSGD)を各クライアントが行う方式を提案する。
提案方式の性能は,所定のMAC容量に対する収束率とDPレベルの観点から評価する。
論文 参考訳（メタデータ） (2020-05-15T20:38:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。