論文の概要: Contribution Evaluation in Federated Learning: Examining Current
Approaches
- arxiv url: http://arxiv.org/abs/2311.09856v1
- Date: Thu, 16 Nov 2023 12:32:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 14:20:25.575544
- Title: Contribution Evaluation in Federated Learning: Examining Current
Approaches
- Title(参考訳): フェデレーションラーニングにおけるコントリビューション評価 : 最新のアプローチの検討
- Authors: Vasilis Siomos and Jonathan Passerat-Palmbach
- Abstract要約: フェデレートラーニング(Federated Learning)では、プライベートで、潜在的に異種なデータや計算資源を持つクライアントが集まって、ローカライズしたデータを残さずに、共通のモデルをトレーニングします。
これらの貢献の価値を定量的に評価する評価貢献(CE)問題は、評価貢献(CE)問題と呼ばれる。
我々は、MNISTとCIFAR-10で紹介した新しいアプローチとともに、最も有望な最先端のアプローチのいくつかをベンチマークして、それらの相違点を示す。
- 参考スコア(独自算出の注目度): 1.3688201404977818
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated Learning (FL) has seen increasing interest in cases where entities
want to collaboratively train models while maintaining privacy and governance
over their data. In FL, clients with private and potentially heterogeneous data
and compute resources come together to train a common model without raw data
ever leaving their locale. Instead, the participants contribute by sharing
local model updates, which, naturally, differ in quality. Quantitatively
evaluating the worth of these contributions is termed the Contribution
Evaluation (CE) problem. We review current CE approaches from the underlying
mathematical framework to efficiently calculate a fair value for each client.
Furthermore, we benchmark some of the most promising state-of-the-art
approaches, along with a new one we introduce, on MNIST and CIFAR-10, to
showcase their differences. Designing a fair and efficient CE method, while a
small part of the overall FL system design, is tantamount to the mainstream
adoption of FL.
- Abstract(参考訳): フェデレーション学習(federated learning, fl)は、データに対するプライバシとガバナンスを維持しながら、協調的にモデルをトレーニングしたい場合への関心が高まっている。
flでは、プライベートなデータと潜在的に異種なデータと計算リソースを持つクライアントが集まって、ローカライズされたデータなしで共通のモデルをトレーニングする。
代わりに、参加者はローカルモデルのアップデートを共有することで貢献します。
これらの貢献の価値を定量的に評価することは、貢献評価(CE)問題と呼ばれる。
我々は、各クライアントの公正値を効率的に計算するために、基礎となる数学的フレームワークからの現在のCEアプローチをレビューする。
さらに、我々は、MNISTとCIFAR-10で導入した新しいアプローチとともに、最も有望な最先端アプローチのいくつかをベンチマークして、それらの相違を示す。
公平で効率的なCE方式を設計する一方で、全体のFLシステム設計のごく一部は、FLの主流となっている。
関連論文リスト
- Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。
局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
論文 参考訳(メタデータ) (2024-09-05T19:00:18Z) - Redefining Contributions: Shapley-Driven Federated Learning [3.9539878659683363]
フェデレーテッド・ラーニング(FL)は、機械学習において重要なアプローチとして登場した。
参加者が平等に、あるいは正直に貢献しない場合、グローバルなモデル収束を保証することは困難です。
本稿では,FLにおけるコントリビューションの詳細な評価のために,ShapFedと呼ばれる新しいコントリビューションアセスメントアセスメント手法を提案する。
論文 参考訳(メタデータ) (2024-06-01T22:40:31Z) - Multi-level Personalized Federated Learning on Heterogeneous and Long-Tailed Data [10.64629029156029]
マルチレベル・パーソナライズド・フェデレーション・ラーニング(MuPFL)という革新的パーソナライズド・パーソナライズド・ラーニング・フレームワークを導入する。
MuPFLは3つの重要なモジュールを統合している: Biased Activation Value Dropout (BAVD), Adaptive Cluster-based Model Update (ACMU), Prior Knowledge-assisted Fine-tuning (PKCF)。
様々な実世界のデータセットの実験では、MuPFLは極端に非i.d.と長い尾の条件下であっても、最先端のベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2024-05-10T11:52:53Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳(メタデータ) (2024-04-29T05:55:23Z) - KnFu: Effective Knowledge Fusion [5.305607095162403]
フェデレートラーニング(FL)は、従来の集中型ラーニングのアプローチに代わる顕著な代替手段として登場した。
本稿では,各クライアントに対してセマンティックな隣人の効果的な知識を融合させるためのみに,局所モデルの知識を評価するEffective Knowledge Fusion(KnFu)アルゴリズムを提案する。
この研究の重要な結論は、大規模でヘテロジニアスなローカルデータセットを持つシナリオでは、知識融合ベースのソリューションよりも局所的なトレーニングが望ましい、ということである。
論文 参考訳(メタデータ) (2024-03-18T15:49:48Z) - FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。
我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文 参考訳(メタデータ) (2024-02-10T18:14:57Z) - Federated Learning Can Find Friends That Are Advantageous [14.993730469216546]
フェデレートラーニング(FL)では、クライアントデータの分散の性質と均一性は、機会と課題の両方を示します。
本稿では,FLトレーニングに参加するクライアントに対して適応的なアグリゲーション重みを割り当てるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-07T17:46:37Z) - A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳(メタデータ) (2024-01-09T10:22:23Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - Data Valuation and Detections in Federated Learning [4.899818550820576]
フェデレートラーニング(FL)は、生データのプライバシーを維持しながら協調的なモデルトレーニングを可能にする。
このフレームワークの課題は、データの公平かつ効率的な評価であり、FLタスクで高品質なデータを提供するためにクライアントにインセンティブを与えるのに不可欠である。
本稿では,FLタスクにおける事前学習アルゴリズムを使わずに,クライアントのコントリビューションを評価し,関連するデータセットを選択するための新たなプライバシ保護手法を提案する。
論文 参考訳(メタデータ) (2023-11-09T12:01:32Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。