論文の概要: A Contribution-based Device Selection Scheme in Federated Learning

• arxiv url: http://arxiv.org/abs/2203.05369v1
• Date: Thu, 10 Mar 2022 13:40:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-11 19:57:01.646250
• Title: A Contribution-based Device Selection Scheme in Federated Learning
• Title（参考訳）: フェデレーション学習における貢献型デバイス選択方式
• Authors: Shashi Raj Pandey, Lam D. Nguyen, and Petar Popovski
• Abstract要約: フェデレートラーニング(FL)のセットアップでは、多くのデバイスが共通のモデルのトレーニングに寄与します。 本稿では,改良された一般化,高速収束,デバイスレベルの性能向上を実現するため,更新を提供するデバイスを選択する方法を提案する。
• 参考スコア（独自算出の注目度）: 31.77382335761709
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In a Federated Learning (FL) setup, a number of devices contribute to the training of a common model. We present a method for selecting the devices that provide updates in order to achieve improved generalization, fast convergence, and better device-level performance. We formulate a min-max optimization problem and decompose it into a primal-dual setup, where the duality gap is used to quantify the device-level performance. Our strategy combines \emph{exploration} of data freshness through a random device selection with \emph{exploitation} through simplified estimates of device contributions. This improves the performance of the trained model both in terms of generalization and personalization. A modified Truncated Monte-Carlo (TMC) method is applied during the exploitation phase to estimate the device's contribution and lower the communication overhead. The experimental results show that the proposed approach has a competitive performance, with lower communication overhead and competitive personalization performance against the baseline schemes.
• Abstract（参考訳）: フェデレーション学習(fl)セットアップでは、複数のデバイスが共通のモデルのトレーニングに寄与する。 本稿では,改良された一般化,高速収束,デバイスレベルの性能向上を実現するために,更新を行うデバイスを選択する手法を提案する。 min-max最適化問題を定式化し、デバイスレベルの性能の定量化に双対性ギャップを用いる原始双対設定に分解する。 我々の戦略は、ランダムなデバイス選択によるデータの鮮度(emph{exploration})と、デバイスコントリビューションの簡易な見積による「emph{exploitation}」を組み合わせる。 これにより、一般化とパーソナライゼーションの両方の観点から訓練されたモデルの性能が向上する。 装置のコントリビューションを推定し,通信オーバヘッドを低くするために,改良されたTrncated Monte-Carlo (TMC) 法を適用した。 実験の結果,提案手法は,通信オーバーヘッドの低減とベースライン方式に対するパーソナライズ性能の低下により,競争性能が向上した。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Selective Mixup Fine-Tuning for Optimizing Non-Decomposable Objectives [17.10165955576643]
  現在の最先端の実証技術は、実用的で非分解不能な性能目標に対して、準最適性能を提供する。 本稿では,SelMixを提案する。SelMixは,事前学習モデルに対して,選択型ミキサアップに基づく安価な微調整技術である。 提案したSelMixファインタニングにより,ベンチマーク間での様々な非分解性目標の性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-27T06:55:23Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Scheduling and Aggregation Design for Asynchronous Federated Learning over Wireless Networks [56.91063444859008]
  Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。 FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。 年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-14T17:33:01Z)
• On Second-order Optimization Methods for Federated Learning [59.787198516188425]
  フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。 本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
  論文  参考訳（メタデータ） (2021-09-06T12:04:08Z)
• Contrastive Prototype Learning with Augmented Embeddings for Few-Shot Learning [58.2091760793799]
  拡張埋め込み(CPLAE)モデルを用いた新しいコントラスト型プロトタイプ学習を提案する。 クラスプロトタイプをアンカーとして、CPLは、同じクラスのクエリサンプルを、異なるクラスのサンプルを、さらに遠くに引き出すことを目的としている。 いくつかのベンチマークによる大規模な実験により,提案したCPLAEが新たな最先端を実現することが示された。
  論文  参考訳（メタデータ） (2021-01-23T13:22:44Z)
• Federated Learning via Intelligent Reflecting Surface [30.935389187215474]
  オーバー・ザ・エア・コンピューティング・アルゴリズム(FL)は,複数のアクセスチャネルの波形重畳特性を利用して高速なモデルアグリゲーションを実現することができる。 本稿では,AirCompベースのFLのための高速かつ信頼性の高いモデルアグリゲーションを実現するための2段階最適化フレームワークを提案する。 シミュレーションの結果,提案するフレームワークとIRSの展開により,ベースラインアルゴリズムよりもトレーニング損失が低く,FL予測精度も高いことがわかった。
  論文  参考訳（メタデータ） (2020-11-10T11:29:57Z)
• Effective Federated Adaptive Gradient Methods with Non-IID Decentralized Data [18.678289386084113]
  フェデレーション学習は、デバイスがデータ共有なしで協調的にモデルを学習することを可能にする。 本稿では,第1次および第2次カリブレータを併用したフェデレートAGMを提案する。 我々は、標準のAdam byepsilonを含む、連邦学習の校正スキームを比較した。
  論文  参考訳（メタデータ） (2020-09-14T16:37:44Z)
• Federated Transfer Learning with Dynamic Gradient Aggregation [27.42998421786922]
  本稿では,音響モデル学習のためのフェデレートラーニング(FL)シミュレーションプラットフォームを提案する。 提案するFLプラットフォームは,モジュール設計を取り入れたさまざまなタスクをサポートすることができる。 これは、収束速度と全体的なモデル性能の両方において、分散トレーニングの黄金標準よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:29:01Z)
• Fast-Convergent Federated Learning [82.32029953209542]
  フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。 本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T14:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。