論文の概要: Heterogeneous Federated Reinforcement Learning Using Wasserstein Barycenters

• arxiv url: http://arxiv.org/abs/2506.15825v1
• Date: Wed, 18 Jun 2025 19:09:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:04.815635
• Title: Heterogeneous Federated Reinforcement Learning Using Wasserstein Barycenters
• Title（参考訳）: Wasserstein Barycentersを用いた不均一なフェデレーション強化学習
• Authors: Luiz Pereira, M. Hadi Amini,
• Abstract要約: 本稿では,分散アーキテクチャにおけるグローバルディープニューラルネットワーク(DNN)のトレーニングにWasserstein Barycenterを利用するモデル融合のための新しいアルゴリズムを提案する。 Heterogeneous Federated Reinforcement Learning (HFRL) に取り組むアルゴリズムを開発した。 各環境に深層Q-Network(DQN)をトレーニングし,各カートの制御を学習すると同時に,ローカルモデルを一般化するためのグローバルアグリゲーションステップも実施する。
• 参考スコア（独自算出の注目度）: 0.48342038441006796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we first propose a novel algorithm for model fusion that leverages Wasserstein barycenters in training a global Deep Neural Network (DNN) in a distributed architecture. To this end, we divide the dataset into equal parts that are fed to "agents" who have identical deep neural networks and train only over the dataset fed to them (known as the local dataset). After some training iterations, we perform an aggregation step where we combine the weight parameters of all neural networks using Wasserstein barycenters. These steps form the proposed algorithm referred to as FedWB. Moreover, we leverage the processes created in the first part of the paper to develop an algorithm to tackle Heterogeneous Federated Reinforcement Learning (HFRL). Our test experiment is the CartPole toy problem, where we vary the lengths of the poles to create heterogeneous environments. We train a deep Q-Network (DQN) in each environment to learn to control each cart, while occasionally performing a global aggregation step to generalize the local models; the end outcome is a global DQN that functions across all environments.
• Abstract（参考訳）: 本稿では,分散アーキテクチャにおけるグローバルディープニューラルネットワーク(DNN)のトレーニングにおいて,Wasserstein Barycentersを利用したモデル融合のための新しいアルゴリズムを提案する。 この目的のために、データセットを、同一のディープニューラルネットワークを持つ"エージェント"に供給される同等の部分に分割し、(ローカルデータセットとして知られる)与えられたデータセットのみをトレーニングします。 いくつかのトレーニングを繰り返した後、Wasserstein Barycenterを使用して、すべてのニューラルネットワークの重みパラメータを結合するアグリゲーションステップを実行します。 これらのステップは、FedWBと呼ばれる提案アルゴリズムを形成する。 さらに,本論文の前半で作成されたプロセスを利用して,異種統合強化学習(HFRL)に取り組むアルゴリズムを開発した。 テスト実験はCartPoleのおもちゃの問題で、ポールの長さを変えて異質な環境を作ります。 各環境で深層Q-Network(DQN)を訓練し、各カートの制御を学習し、時には局所モデルを一般化するグローバルアグリゲーションステップを実行し、最終的には全環境にわたって機能するグローバルDQNとなる。

関連論文リスト

• Deep Learning as Ricci Flow [38.27936710747996]
  ディープニューラルネットワーク(DNN)は、複雑なデータの分布を近似する強力なツールである。 分類タスク中のDNNによる変換は、ハミルトンのリッチ流下で期待されるものと類似していることを示す。 本研究の成果は, 微分幾何学や離散幾何学から, 深層学習における説明可能性の問題まで, ツールの利用を動機づけるものである。
  論文  参考訳（メタデータ） (2024-04-22T15:12:47Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Bayesian Federated Neural Matching that Completes Full Information [2.6566593102111473]
  フェデレートラーニング(Federated Learning)は、局所的に訓練されたモデルをグローバルモデルに蒸留する機械学習パラダイムである。 そこで本研究では,各イテレーションでKulback-Leibler分散ペナルティを導入することで,この欠陥を克服する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-15T09:47:56Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• Probabilistic Federated Learning of Neural Networks Incorporated with Global Posterior Information [4.067903810030317]
  フェデレートラーニングでは、ローカルクライアントで訓練されたモデルをグローバルモデルに蒸留する。 本稿では,確率的フェデレーションニューラルネットワークの拡張手法を提案する。 我々の新しい手法は、単一のコミュニケーションラウンドと追加のコミュニケーションラウンドの両方において、一般的な最先端のフェデレーション学習方法より優れています。
  論文  参考訳（メタデータ） (2020-12-06T03:54:58Z)
• Self-grouping Convolutional Neural Networks [30.732298624941738]
  本稿では,SG-CNNと呼ばれる自己グループ型畳み込みニューラルネットワークの設計手法を提案する。 各フィルタについて、まず入力チャネルの重要度を評価し、重要度ベクトルを同定する。 得られたデータに依存したセントロイドを用いて、重要でない接続を創り出し、プルーニングの精度損失を暗黙的に最小化する。
  論文  参考訳（メタデータ） (2020-09-29T06:24:32Z)
• Multi-Level Local SGD for Heterogeneous Hierarchical Networks [11.699472346137739]
  異種ネットワークにおける学習・非目的フレームワークのための分散勾配法であるマルチレベルローカルSGDを提案する。 まず,マルチレベル局所SGDアルゴリズムを記述する統一数学的手法を提案する。 次に,アルゴリズムの理論的解析を行う。
  論文  参考訳（メタデータ） (2020-07-27T19:14:23Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。