論文の概要: GTFLAT: Game Theory Based Add-On For Empowering Federated Learning
Aggregation Techniques
- arxiv url: http://arxiv.org/abs/2212.04103v1
- Date: Thu, 8 Dec 2022 06:39:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 15:06:49.096066
- Title: GTFLAT: Game Theory Based Add-On For Empowering Federated Learning
Aggregation Techniques
- Title(参考訳): GTFLAT: ゲーム理論に基づくフェデレーション学習集約技術のためのアドオン
- Authors: Hamidreza Mahini, Hamid Mousavi, Masoud Daneshtalab
- Abstract要約: GTFLATはゲーム理論に基づくアドオンであり、重要な研究課題に対処する。
モデル集約フェーズにおける平均化に対してより効果的な適応重みを設定することにより、フェデレーション学習アルゴリズムは、より優れたパフォーマンスと訓練効率を実現することができるのか?
その結果、GTFLATを平均するとトップ1テストの精度は1.38%向上し、通信ラウンドは21.06%削減された。
- 参考スコア(独自算出の注目度): 0.3867363075280543
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: GTFLAT, as a game theory-based add-on, addresses an important research
question: How can a federated learning algorithm achieve better performance and
training efficiency by setting more effective adaptive weights for averaging in
the model aggregation phase? The main objectives for the ideal method of
answering the question are: (1) empowering federated learning algorithms to
reach better performance in fewer communication rounds, notably in the face of
heterogeneous scenarios, and last but not least, (2) being easy to use
alongside the state-of-the-art federated learning algorithms as a new module.
To this end, GTFLAT models the averaging task as a strategic game among active
users. Then it proposes a systematic solution based on the population game and
evolutionary dynamics to find the equilibrium. In contrast with existing
approaches that impose the weights on the participants, GTFLAT concludes a
self-enforcement agreement among clients in a way that none of them is
motivated to deviate from it individually. The results reveal that, on average,
using GTFLAT increases the top-1 test accuracy by 1.38%, while it needs 21.06%
fewer communication rounds to reach the accuracy.
- Abstract(参考訳): ゲーム理論に基づくアドオンとして、gtflatは重要な研究課題に対処している。 モデル集約フェーズにおける平均化のための効果的な適応重み付けを設定することにより、フェデレーション学習アルゴリズムは、パフォーマンスとトレーニング効率を向上できるのだろうか?
理想的な解法の主な目的は,(1) コミュニケーションラウンドが少なく,特に異種シナリオに直面する場合において,フェデレーション付き学習アルゴリズムがより良い性能に到達するように,(2) 最先端のフェデレーション付き学習アルゴリズムを新しいモジュールとして使用しやすくすることである。
この目的のために、GTFLATはアクティブユーザーの平均タスクを戦略ゲームとしてモデル化する。
次に,集団ゲームと進化力学に基づく系統的解法を提案し,均衡を求める。
参加者に重みを課す既存のアプローチとは対照的に、GTFLATはクライアント間での自己強化協定を締結する。
その結果、gtflatの使用により、平均してトップ1テストの精度が1.38%向上し、通信ラウンドの精度が21.06%低下することが判明した。
関連論文リスト
- pFedGame -- Decentralized Federated Learning using Game Theory in Dynamic Topology [1.1970409518725493]
pFedGameは、時間的動的ネットワークに適した分散フェデレーション学習のために提案されている。
提案アルゴリズムは集約のための集中型サーバを使わずに動作する。
pFedGameの性能を評価する実験は、不均一なデータに対して70%以上の精度で有望な結果を示した。
論文 参考訳(メタデータ) (2024-10-05T06:39:16Z) - Towards Dynamic Resource Allocation and Client Scheduling in Hierarchical Federated Learning: A Two-Phase Deep Reinforcement Learning Approach [40.082601481580426]
フェデレーション学習は、データを共有することなく、共有機械学習モデルをトレーニングするための実行可能なテクニックである。
本稿では,FLプロセスの学習遅延とモデル精度をオンラインにバランスさせるための2段階のDeep Deterministic Policy gradient(DDPG)フレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-21T07:01:23Z) - Ranking-based Client Selection with Imitation Learning for Efficient Federated Learning [20.412469498888292]
フェデレートラーニング(FL)は、複数のデバイスが共同で共有モデルをトレーニングすることを可能にする。
各トレーニングラウンドにおける参加デバイスの選択は、モデル性能とトレーニング効率の両方に重大な影響を及ぼす。
我々は、エンドツーエンドのランキングベースのアプローチであるFedRankという新しいデバイス選択ソリューションを導入する。
論文 参考訳(メタデータ) (2024-05-07T08:44:29Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - A Reinforcement Learning-assisted Genetic Programming Algorithm for Team
Formation Problem Considering Person-Job Matching [70.28786574064694]
解の質を高めるために強化学習支援遺伝的プログラミングアルゴリズム(RL-GP)を提案する。
効率的な学習を通じて得られる超ヒューリスティックなルールは、プロジェクトチームを形成する際の意思決定支援として利用することができる。
論文 参考訳(メタデータ) (2023-04-08T14:32:12Z) - Proof of Swarm Based Ensemble Learning for Federated Learning
Applications [3.2536767864585663]
連合学習では、プライバシー上の懸念から、集中型アンサンブル学習を直接適用することは不可能である。
ビザンティンフォールトトレランス(BFT)のようなほとんどの分散コンセンサスアルゴリズムは、通常そのようなアプリケーションではうまく機能しない。
フェデレートされた環境でのアンサンブル学習のための分散コンセンサスアルゴリズムPoSwを提案する。
論文 参考訳(メタデータ) (2022-12-28T13:53:34Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳(メタデータ) (2022-12-02T05:07:50Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳(メタデータ) (2022-03-23T06:24:31Z) - Fairness and Accuracy in Federated Learning [17.218814060589956]
本稿では,federated learning (fedfa) における公平性と正確性を高めるアルゴリズムを提案する。
二重運動量勾配を採用する最適化スキームを導入し、それによってモデルの収束速度を加速する。
トレーニング精度とトレーニング頻度の情報量を組み合わせてウェイトを測定するための適切なウェイト選択アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-18T06:28:37Z) - Improving Auto-Augment via Augmentation-Wise Weight Sharing [123.71986174280741]
自動拡張検索の重要な要素は、特定の拡張ポリシーの評価プロセスである。
本稿では,モデルの強化トレーニングのダイナミクスについて検討する。
我々は,Augmentation-Wise Weight Sharing (AWS)に基づいて,高速かつ高精度な評価プロセスを構築するために,強力で効率的なプロキシタスクを設計する。
論文 参考訳(メタデータ) (2020-09-30T15:23:12Z) - Adaptive Serverless Learning [114.36410688552579]
本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。
提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。
通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
論文 参考訳(メタデータ) (2020-08-24T13:23:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。