論文の概要: Differentiated Federated Reinforcement Learning for Dynamic and
Heterogeneous Network
- arxiv url: http://arxiv.org/abs/2212.02075v1
- Date: Mon, 5 Dec 2022 07:40:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 19:11:31.353836
- Title: Differentiated Federated Reinforcement Learning for Dynamic and
Heterogeneous Network
- Title(参考訳): 動的および異種ネットワークのための微分連体強化学習
- Authors: Fengxiao Tang, Yilin Yang, Xin Yao, Ming Zhao, Nei Kato
- Abstract要約: そこで本研究では,局所戦略トラップ問題の解法として,DFRL(Dariated Federated Reinforcement Learning)を提案する。
DFRLでは,地域政策学習モデルをグローバルトレンドモデルと地域環境に適応的に更新する。
提案手法は,スループット,遅延,パケットドロップレートの点で,ベースラインよりも優れたグローバルパフォーマンスと公平性を示す。
- 参考スコア(独自算出の注目度): 12.592544091889811
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The modern dynamic and heterogeneous network brings differential environments
with respective state transition probability to agents, which leads to the
local strategy trap problem of traditional federated reinforcement learning
(FRL) based network optimization algorithm. To solve this problem, we propose a
novel Differentiated Federated Reinforcement Learning (DFRL), which evolves the
global policy model integration and local inference with the global policy
model in traditional FRL to a collaborative learning process with parallel
global trends learning and differential local policy model learning. In the
DFRL, the local policy learning model is adaptively updated with the global
trends model and local environment and achieves better differentiated
adaptation. We evaluate the outperformance of the proposal compared with the
state-of-the-art FRL in a classical CartPole game with heterogeneous
environments. Furthermore, we implement the proposal in the heterogeneous
Space-air-ground Integrated Network (SAGIN) for the classical traffic
offloading problem in network. The simulation result shows that the proposal
shows better global performance and fairness than baselines in terms of
throughput, delay, and packet drop rate.
- Abstract(参考訳): 現代の動的・異種ネットワークは、各状態遷移確率の異なる微分環境をエージェントにもたらすため、従来のフェデレーション強化学習(FRL)に基づくネットワーク最適化アルゴリズムの局所的戦略トラップ問題に繋がる。
そこで本研究では,従来のFRLにおけるグローバルポリシーモデルの統合と局所推論を,並列なグローバルトレンド学習と差分ローカルポリシーモデル学習を併用した協調学習プロセスへと進化させる,新たな差別化フェデレーション強化学習(DFRL)を提案する。
DFRLでは,地域政策学習モデルをグローバルトレンドモデルと地域環境に適応的に更新し,より良い適応性を実現する。
異種環境をもつ古典型カートプールゲームにおいて, 最先端のFRLと比較して, 提案手法の性能評価を行った。
さらに,異種宇宙空地統合ネットワーク(SAGIN)において,従来のトラフィックオフロード問題に対する提案を実装した。
シミュレーションの結果,提案手法はスループット,遅延,パケットドロップレートの点で,ベースラインよりも優れたグローバル性能と公平性を示した。
関連論文リスト
- Adaptive Global-Local Representation Learning and Selection for
Cross-Domain Facial Expression Recognition [54.334773598942775]
ドメインシフトは、クロスドメイン顔表情認識(CD-FER)において重要な課題となる
適応的グローバルローカル表現学習・選択フレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-20T02:21:41Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳(メタデータ) (2023-08-20T04:41:01Z) - FedSoup: Improving Generalization and Personalization in Federated
Learning via Selective Model Interpolation [32.36334319329364]
クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。
近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。
地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
論文 参考訳(メタデータ) (2023-07-20T00:07:29Z) - Federated Learning as Variational Inference: A Scalable Expectation
Propagation Approach [66.9033666087719]
本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。
我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
論文 参考訳(メタデータ) (2023-02-08T17:58:11Z) - FedCL: Federated Multi-Phase Curriculum Learning to Synchronously
Correlate User Heterogeneity [17.532659808426605]
Federated Learning(FL)は、機械学習アルゴリズムのトレーニングに使用される分散学習手法である。
FLでは、グローバルモデルがローカルデータにアクセスすることなく、ローカルモデルのパラメータを反復的に収集する。
本稿では,FLにおけるユーザ不均一性の課題に対処するための,アクティブかつ同期的な相関手法を提案する。
論文 参考訳(メタデータ) (2022-11-14T10:06:41Z) - Multi-Level Branched Regularization for Federated Learning [46.771459325434535]
本稿では,各局所モデルにおける複数の補助的分岐を,複数の異なるレベルで局所的および大域的ワークをグラフトすることで構築する,新しいアーキテクチャ正規化手法を提案する。
従来の手法に比べて精度と効率の点で顕著な性能向上を示す。
論文 参考訳(メタデータ) (2022-07-14T13:59:26Z) - FedKL: Tackling Data Heterogeneity in Federated Reinforcement Learning
by Penalizing KL Divergence [0.0]
フェデレートラーニング(FL)は、多くのモデルの同期と集約のためにコミュニケーションのボトルネックに直面します。
不均一なデータは、収束が遅くなることによってさらに状況が悪化する。
本稿では、まず、政策勾配に基づくFRLシステムにおけるデータ不均一性の種類とレベルを定義する。
論文 参考訳(メタデータ) (2022-04-18T01:46:59Z) - Federated Ensemble Model-based Reinforcement Learning in Edge Computing [21.840086997141498]
フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための分散機械学習パラダイムである。
モデルベースRLとアンサンブル知識蒸留をFLに効果的に組み込む新しいFRLアルゴリズムを提案する。
具体的には、FLと知識蒸留を利用して、クライアント向けの動的モデルのアンサンブルを作成し、環境と相互作用することなく、単にアンサンブルモデルを使用することでポリシーを訓練する。
論文 参考訳(メタデータ) (2021-09-12T16:19:10Z) - Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。
また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文 参考訳(メタデータ) (2020-12-01T11:46:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。