Fugu-MT 論文翻訳(概要): Ranking-based Client Selection with Imitation Learning for Efficient Federated Learning

論文の概要: Ranking-based Client Selection with Imitation Learning for Efficient Federated Learning

arxiv url: http://arxiv.org/abs/2405.04122v1
Date: Tue, 7 May 2024 08:44:29 GMT
ステータス: 処理完了
システム内更新日: 2024-05-08 14:49:39.359956
Title: Ranking-based Client Selection with Imitation Learning for Efficient Federated Learning
Title（参考訳）: 効果的なフェデレーション学習のための模倣学習を用いたランキングベースクライアント選択
Authors: Chunlin Tian, Zhan Shi, Xinpeng Qin, Li Li, Chengzhong Xu,
Abstract要約: フェデレートラーニング(FL)は、複数のデバイスが共同で共有モデルをトレーニングすることを可能にする。各トレーニングラウンドにおける参加デバイスの選択は、モデル性能とトレーニング効率の両方に重大な影響を及ぼす。我々は、エンドツーエンドのランキングベースのアプローチであるFedRankという新しいデバイス選択ソリューションを導入する。
参考スコア（独自算出の注目度）: 20.412469498888292
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Federated Learning (FL) enables multiple devices to collaboratively train a shared model while ensuring data privacy. The selection of participating devices in each training round critically affects both the model performance and training efficiency, especially given the vast heterogeneity in training capabilities and data distribution across devices. To address these challenges, we introduce a novel device selection solution called FedRank, which is an end-to-end, ranking-based approach that is pre-trained by imitation learning against state-of-the-art analytical approaches. It not only considers data and system heterogeneity at runtime but also adaptively and efficiently chooses the most suitable clients for model training. Specifically, FedRank views client selection in FL as a ranking problem and employs a pairwise training strategy for the smart selection process. Additionally, an imitation learning-based approach is designed to counteract the cold-start issues often seen in state-of-the-art learning-based approaches. Experimental results reveal that \model~ boosts model accuracy by 5.2\% to 56.9\%, accelerates the training convergence up to $2.01 \times$ and saves the energy consumption up to $40.1\%$.
Abstract（参考訳）: フェデレートラーニング(FL)は、複数のデバイスがデータのプライバシを確保しながら、共同で共有モデルをトレーニングすることを可能にする。各トレーニングラウンドにおける参加デバイスの選択は、特にトレーニング能力とデバイス間のデータ分散における大きな異質性を考えると、モデルパフォーマンスとトレーニング効率の両方に重大な影響を及ぼす。これらの課題に対処するために、我々はFedRankと呼ばれる新しいデバイス選択ソリューションを導入する。これは、最先端の分析アプローチに対する模倣学習によって事前訓練されたエンドツーエンドのランキングベースのアプローチである。実行時にデータとシステムの不均一性を考えるだけでなく、モデルトレーニングに最も適したクライアントを適応的かつ効率的に選択する。具体的には、FedRankはFLにおけるクライアント選択をランキング問題とみなし、スマートセレクションプロセスにペアワイズトレーニング戦略を採用する。さらに、模倣学習ベースのアプローチは、最先端の学習ベースのアプローチでよく見られるコールドスタート問題に対処するために設計されている。実験結果から、モデル~はモデルの精度を5.2\%から56.9\%に向上し、トレーニング収束を2.01 \times$に加速し、エネルギー消費を40.1\%$に削減することが明らかとなった。

関連論文リスト

Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2024-01-16T12:45:15Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Effectively Heterogeneous Federated Learning: A Pairing and Split Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文参考訳（メタデータ） (2023-08-26T11:10:54Z)
Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文参考訳（メタデータ） (2022-09-30T05:42:56Z)
Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文参考訳（メタデータ） (2022-06-05T01:14:46Z)
WAFFLE: Weighted Averaging for Personalized Federated Learning [38.241216472571786]
WAFFLEは、SCAFFOLDに基づくパーソナライズされた協調機械学習アルゴリズムである。 WAFFLEは、クライアントのアップデート間のユークリッド距離を使用して、個々のコントリビューションを計測する。本実験では, WAFFLE の有効性を他の方法と比較した。
論文参考訳（メタデータ） (2021-10-13T18:40:54Z)
Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文参考訳（メタデータ） (2021-04-27T18:23:54Z)
Stochastic Client Selection for Federated Learning with Volatile Clients [41.591655430723186]
Federated Learning(FL)は、プライバシ保護機械学習パラダイムである。同期FLトレーニングの各ラウンドでは、参加できるクライアントはごくわずかである。本稿では,この問題を解決するためのクライアント選択方式であるE3CSを提案する。
論文参考訳（メタデータ） (2020-11-17T16:35:24Z)
CatFedAvg: Optimising Communication-efficiency and Classification Accuracy in Federated Learning [2.2172881631608456]
そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
論文参考訳（メタデータ） (2020-11-14T06:52:02Z)
Oort: Efficient Federated Learning via Guided Participant Selection [5.01181273401802]
フェデレートラーニング(FL)は、エッジデータを用いたモデルトレーニングとテストを可能にする。既存の取り組みでは、FL参加者をランダムに選び、モデルやシステムの効率が悪くなります。 Oortは1.2x-14.1x、最終モデルの精度を1.3%-9.8%改善した。
論文参考訳（メタデータ） (2020-10-12T23:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。