論文の概要: FedFormer: Contextual Federation with Attention in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2205.13697v2
• Date: Mon, 30 May 2022 02:19:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 12:16:05.633060
• Title: FedFormer: Contextual Federation with Attention in Reinforcement Learning
• Title（参考訳）: FedFormer:強化学習への注意を伴うコンテキストフェデレーション
• Authors: Liam Hebert, Lukasz Golab, Pascal Poupart, Robin Cohen
• Abstract要約: FedFormerは、Transformer Attentionを使用してコンテキスト的に埋め込みを集約する新しいフェデレーション戦略である。 我々はメタワールド環境における手法の評価を行い,FedAvgや非フェデレートなソフトアクター・クリストイック・シングルエージェント法よりも優れた手法が得られた。
• 参考スコア（独自算出の注目度）: 21.05134144161283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A core issue in federated reinforcement learning is defining how to aggregate insights from multiple agents into one. This is commonly done by taking the average of each participating agent's model weights into one common model (FedAvg). We instead propose FedFormer, a novel federation strategy that utilizes Transformer Attention to contextually aggregate embeddings from models originating from different learner agents. In so doing, we attentively weigh contributions of other agents with respect to the current agent's environment and learned relationships, thus providing more effective and efficient federation. We evaluate our methods on the Meta-World environment and find that our approach yields significant improvements over FedAvg and non-federated Soft Actor Critique single agent methods. Our results compared to Soft Actor Critique show that FedFormer performs better while still abiding by the privacy constraints of federated learning. In addition, we demonstrate nearly linear improvements in effectiveness with increased agent pools in certain tasks. This is contrasted by FedAvg, which fails to make noticeable improvements when scaled.
• Abstract（参考訳）: 連合強化学習における中核的な問題は、複数のエージェントからの洞察をひとつに集約する方法を定義することである。 これは、各エージェントのモデル重量の平均を1つの共通モデル(fedavg)にすることで行われる。 そこで我々は,Transformer Attention を利用した新しいフェデレーション戦略であるFedFormerを提案する。 このようにして、我々は、現在のエージェントの環境および学習関係に関する他のエージェントの貢献を注意深く評価し、より効果的で効率的なフェデレーションを提供する。 我々はメタワールド環境における手法を評価し,fedavgおよび非フェデレートソフトアクタ批判シングルエージェント法に対して,そのアプローチが著しい改善をもたらすことを見出した。 我々の結果は、Soft Actor Critiqueと比較すると、FedFormerは、フェデレーション学習のプライバシー制約を守りながら、パフォーマンスが良くなっている。 さらに,特定のタスクにおけるエージェントプールの増加による効率のほぼ線形改善を示す。 これとは対照的に、FedAvgはスケール時に顕著な改善をしない。

関連論文リスト

• FedStaleWeight: Buffered Asynchronous Federated Learning with Fair Aggregation via Staleness Reweighting [9.261784956541641]
  非同期フェデレートラーニング(AFL)メソッドは、最も遅いエージェントによる非同期フェデレーションに代わる、有望な代替手段として登場した。 AFLモデルでは、更新を高速に生成できるエージェントに対して、遅いエージェントを残してトレーニングを行う。 我々はFedStaleWeightを紹介した。これは非同期クライアント更新の集約に、平均安定化を利用して公平な再重み付けを計算するアルゴリズムである。
  論文  参考訳（メタデータ） (2024-06-05T02:52:22Z)
• Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
  対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。 我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。 各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:15Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Learning From Good Trajectories in Offline Multi-Agent Reinforcement Learning [98.07495732562654]
  オフラインマルチエージェント強化学習(MARL)は、事前コンパイルされたデータセットから効果的なマルチエージェントポリシーを学ぶことを目的としている。 オフラインのMARLが学んだエージェントは、しばしばこのランダムなポリシーを継承し、チーム全体のパフォーマンスを脅かす。 この問題に対処するために,共有個人軌道(SIT)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-28T18:11:26Z)
• Meta Knowledge Condensation for Federated Learning [65.20774786251683]
  既存のフェデレートされた学習パラダイムは通常、より強力なモデルを達成するために、中央の解決器で分散モデルを広範囲に交換する。 これにより、特にデータ分散が不均一である場合、サーバと複数のクライアントの間で深刻な通信負荷が発生します。 既存のパラダイムとは違って,フェデレート学習におけるコミュニケーションコストを大幅に削減する新たな視点を導入する。
  論文  参考訳（メタデータ） (2022-09-29T15:07:37Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Federated Adversarial Training with Transformers [16.149924042225106]
  フェデレーテッド・ラーニング(FL)は、プライバシを保ちながら、分散クライアントのデータ上でグローバルモデルトレーニングを可能にするために登場した。 本稿では,異なるトークン化と分類ヘッド技術を用いた異なるフェデレーションモデルアグリゲーション手法と異なるビジョントランスフォーマーモデルによる実現可能性について検討する。
  論文  参考訳（メタデータ） (2022-06-05T09:07:09Z)
• Exploiting Heterogeneity in Robust Federated Best-Arm Identification [19.777265059976337]
  Fed-SELは、逐次除去技術に基づく単純な通信効率のアルゴリズムであり、クライアントのローカルサンプリングステップを含む。 異種問題の場合、Fed-SELは1ラウンドの通信でベストアームを出力する。 最後のコントリビューションとして、フェデレーションとピアツーピア設定の両方を対象としてFed-SELの亜種を開発しました。
  論文  参考訳（メタデータ） (2021-09-13T04:22:21Z)
• Deep Interactive Bayesian Reinforcement Learning via Meta-Learning [63.96201773395921]
  他のエージェントの戦略に対する不確実性下での最適適応行動は、インタラクティブベイズ強化学習フレームワークを用いて計算することができる。 本稿では,メタラーン近似的信念推論とベイズ最適行動を提案する。 提案手法は, モデルフリーアプローチ, 近似後部からのサンプル採取, 他者のメモリフリーモデル維持, あるいは環境の既知の構造を完全に活用しない既存手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-11T13:25:13Z)
• FedMGDA+: Federated Learning meets Multi-objective Optimization [22.36800379342697]
  フェデレーテッド・ラーニング(Federated Learning)は、大量のエッジデバイス上で、ジョイントディープモデルをトレーニングするための、有望で大規模に分散された方法として登場した。 我々は,多目的最適化としてフェデレーション学習を定式化し,定常解に収束することが保証される新しいアルゴリズムであるFedMGDA+を提案する。
  論文  参考訳（メタデータ） (2020-06-20T04:17:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。