論文の概要: FedGCS: A Generative Framework for Efficient Client Selection in Federated Learning via Gradient-based Optimization

• arxiv url: http://arxiv.org/abs/2405.06312v1
• Date: Fri, 10 May 2024 08:34:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-13 16:17:47.077590
• Title: FedGCS: A Generative Framework for Efficient Client Selection in Federated Learning via Gradient-based Optimization
• Title（参考訳）: FedGCS: グラディエントベースの最適化によるフェデレート学習における効率的なクライアント選択のための生成フレームワーク
• Authors: Zhiyuan Ning, Chunlin Tian, Meng Xiao, Wei Fan, Pengyang Wang, Li Li, Pengfei Wang, Yuanchun Zhou,
• Abstract要約: FedGCSは、新しい生成クライアント選択フレームワークである。 連続表現空間内の豊富な意思決定知識を効率的に符号化する。 これは、よく訓練されたデコーダのビームサーチにより、最終的な最適なクライアント選択を生成する。
• 参考スコア（独自算出の注目度）: 18.456715801108146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning faces significant challenges in statistical and system heterogeneity, along with high energy consumption, necessitating efficient client selection strategies. Traditional approaches, including heuristic and learning-based methods, fall short of addressing these complexities holistically. In response, we propose FedGCS, a novel generative client selection framework that innovatively recasts the client selection process as a generative task. Drawing inspiration from the methodologies used in large language models, FedGCS efficiently encodes abundant decision-making knowledge within a continuous representation space, enabling efficient gradient-based optimization to search for optimal client selection that will be finally output via generation. The framework comprises four steps: (1) automatic collection of diverse "selection-score" pair data using classical client selection methods; (2) training an encoder-evaluator-decoder framework on this data to construct a continuous representation space; (3) employing gradient-based optimization in this space for optimal client selection; (4) generating the final optimal client selection via using beam search for the well-trained decoder. FedGCS outperforms traditional methods by being more comprehensive, generalizable, and efficient, simultaneously optimizing for model performance, latency, and energy consumption. The effectiveness of FedGCS is proven through extensive experimental analyses.
• Abstract（参考訳）: フェデレートラーニングは、統計的およびシステム不均一性において、高エネルギー消費とともに、効率的なクライアント選択戦略を必要とする重要な課題に直面している。 ヒューリスティックで学習に基づく手法を含む伝統的なアプローチは、これらの複雑さに全体的に取り組むには不十分である。 そこで本研究では,クライアント選択プロセスを生成タスクとして革新的に再キャストする新たなクライアント選択フレームワークであるFedGCSを提案する。 大規模言語モデルで使用される方法論からインスピレーションを得たFedGCSは、連続表現空間内の豊富な意思決定知識を効率的に符号化し、効率的な勾配に基づく最適化を可能にし、生成によって最終的に出力される最適なクライアントの選択を探索する。 本フレームワークは,(1)古典的クライアント選択手法を用いた多様な"選択スコア"ペアデータの自動収集,(2)連続的な表現空間を構築するためのエンコーダ-評価器-デコーダフレームワークのトレーニング,(3)最適クライアント選択のための勾配に基づく最適化,(4)よく訓練されたデコーダのビームサーチによる最終最適クライアント選択の生成,の4段階からなる。 FedGCSは、より包括的で、一般化可能で、効率的で、モデル性能、レイテンシ、エネルギー消費を同時に最適化することで、従来の手法よりも優れています。 FedGCSの有効性は、広範囲な実験的分析によって証明されている。

関連論文リスト

• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Emulating Full Client Participation: A Long-Term Client Selection Strategy for Federated Learning [48.94952630292219]
  本稿では,クライアントの完全参加によって達成されるパフォーマンスをエミュレートする新しいクライアント選択戦略を提案する。 1ラウンドで、クライアントサブセットとフルクライアントセット間の勾配空間推定誤差を最小化し、クライアントを選択する。 複数ラウンド選択において、類似したデータ分布を持つクライアントが選択される頻度に類似することを保証する、新しい個性制約を導入する。
  論文  参考訳（メタデータ） (2024-05-22T12:27:24Z)
• Greedy Shapley Client Selection for Communication-Efficient Federated Learning [32.38170282930876]
  フェデレートラーニング(FL)のための標準的なクライアント選択アルゴリズムは、しばしばバイアスがなく、クライアントのランダムサンプリングが一様である。 私たちは、各通信ラウンドで最も貢献するクライアントを特定し、優しく選択する、バイアスのあるクライアント選択戦略であるGreedyFedを開発します。 複数の実世界のデータセット上のさまざまなクライアント選択戦略と比較して、GreedyFedは、タイミング制約の下で高い精度で高速で安定した収束を示す。
  論文  参考訳（メタデータ） (2023-12-14T16:44:38Z)
• Heterogeneity-Guided Client Sampling: Towards Fast and Efficient Non-IID Federated Learning [14.866327821524854]
  HiCS-FLはサーバがクライアントの出力層を更新してクライアントデータの統計的不均一性を推定する新しいクライアント選択手法である。 非IID設定では、HiCS-FLは最先端のFLクライアント選択方式よりも高速な収束を実現する。
  論文  参考訳（メタデータ） (2023-09-30T00:29:30Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• FilFL: Client Filtering for Optimized Client Participation in Federated Learning [71.46173076298957]
  フェデレートラーニングは、クライアントがローカルデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。 トレーニングプロセスに参加するクライアントは、収束率、学習効率、モデル一般化に大きな影響を与えます。 本稿では,モデル一般化を改善し,クライアント参加とトレーニングを最適化する新しい手法であるクライアントフィルタリングを提案する。
  論文  参考訳（メタデータ） (2023-02-13T18:55:31Z)
• Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
  本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。 我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。 特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
  論文  参考訳（メタデータ） (2022-09-30T05:42:56Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Client Selection in Federated Learning: Convergence Analysis and Power-of-Choice Selection Strategies [29.127689561987964]
  フェデレートラーニングにより、多数のリソース制限されたクライアントノードが、データ共有なしで協調的にモデルをトレーニングできる。 局所的損失の高いクライアントに対するクライアント選択の偏りは、より高速なエラー収束を実現することを示す。 通信および計算効率の高いクライアント選択フレームワークであるPower-of-Choiceを提案する。
  論文  参考訳（メタデータ） (2020-10-03T01:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。