論文の概要: ProvFL: Client-Driven Interpretability of Global Model Predictions in
Federated Learning
- arxiv url: http://arxiv.org/abs/2312.13632v1
- Date: Thu, 21 Dec 2023 07:48:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 15:40:31.903083
- Title: ProvFL: Client-Driven Interpretability of Global Model Predictions in
Federated Learning
- Title(参考訳): ProvFL:フェデレートラーニングにおけるグローバルモデル予測のクライアント駆動解釈可能性
- Authors: Waris Gill (1), Ali Anwar (2), Muhammad Ali Gulzar (1) ((1) Virginia
Tech, (2) University of Minnesota Twin Cities)
- Abstract要約: Federated Learning (FL)は、複数のトレーニングラウンドで複数のプライベートトレーニングされたクライアントのモデルを集約することで、共同機械学習モデルをトレーニングする。
ProvFLは、FLに含まれる個々のクライアントと最終グローバルモデルの間の情報の流れを追跡する、きめ細かい系統解析機構である。
ProvFLは、最先端のFLフォールトローカライゼーションアプローチを50%平均マージンで上回っている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) trains a collaborative machine learning model by
aggregating multiple privately trained clients' models over several training
rounds. Such a long, continuous action of model aggregations poses significant
challenges in reasoning about the origin and composition of such a global
model. Regardless of the quality of the global model or if it has a fault,
understanding the model's origin is equally important for debugging,
interpretability, and explainability in federated learning. FL application
developers often question: (1) what clients contributed towards a global model
and (2) if a global model predicts a label, which clients are responsible for
it?
We introduce, neuron provenance, a fine-grained lineage capturing mechanism
that tracks the flow of information between the individual participating
clients in FL and the final global model. We operationalize this concept in
ProvFL that functions on two key principles. First, recognizing that monitoring
every neuron of every client's model statically is ineffective and noisy due to
the uninterpretable nature of individual neurons, ProvFL dynamically isolates
influential and sensitive neurons in the global model, significantly reducing
the search space. Second, as multiple clients' models are fused in each round
to form a global model, tracking each client's contribution becomes
challenging. ProvFL leverages the invertible nature of fusion algorithms to
precisely isolate each client's contribution derived from selected neurons.
When asked to localize the clients responsible for the given behavior (i.e.,
prediction) of the global model, ProvFL successfully localizes them with an
average provenance accuracy of 97%. Additionally, ProvFL outperforms the
state-of-the-art FL fault localization approach by an average margin of 50%.
- Abstract(参考訳): Federated Learning (FL)は、複数のトレーニングラウンドで複数のプライベートトレーニングされたクライアントのモデルを集約することで、共同機械学習モデルをトレーニングする。
モデル集約のこのような長く連続的な作用は、そのような大域的なモデルの起源と構成について考える上で大きな課題となる。
グローバルモデルの品質や欠点があるかどうかに関わらず、モデルの起源を理解することは、フェデレーション学習におけるデバッグ、解釈可能性、説明可能性において等しく重要である。
flアプリケーション開発者はしばしば疑問を呈する: (1)グローバルモデルに寄与したクライアントと(2)グローバルモデルがラベルを予測した場合、どのクライアントに責任があるのか?
FLにおける個々のクライアントと最終グローバルモデル間の情報の流れを追跡する,きめ細かな系統解析機構であるニューロン前駆体を導入する。
ProvFLでこの概念を運用し、2つの鍵となる原則で機能する。
第一に、各クライアントモデルの全ニューロンを静的に監視することは、個々のニューロンの解釈不能な性質のため、非効率でノイズであることを認め、ProvFLはグローバルモデルにおける影響力と感受性の強いニューロンを動的に分離し、サーチスペースを著しく減少させる。
第二に、複数のクライアントのモデルが各ラウンドに融合してグローバルモデルを形成すると、各クライアントの貢献を追跡することが困難になる。
ProvFLは融合アルゴリズムの可逆性を利用して、選択された神経細胞からそれぞれのクライアントの寄与を正確に分離する。
グローバルモデルの与えられた振る舞い(すなわち予測)に責任を持つクライアントのローカライズを依頼すると、provflはそれらを平均97%の精度でローカライズすることに成功した。
さらに、ProvFLは最先端のFLフォールトローカライゼーションアプローチを50%のマージンで上回っている。
関連論文リスト
- Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - Federated Learning with Neural Graphical Models [2.6842860806280058]
フェデレートラーニング(FL)は、プロプライエタリなデータに基づいたモデルを作成する必要性に対処する。
近年提案されているニューラルグラフモデル(NGM)は、ニューラルネットワークの表現力を利用する確率的グラフィカルモデルである。
我々は,局所的なNGMモデルから平均情報を学習するグローバルなNGMモデルを維持するFLフレームワークを開発した。
論文 参考訳(メタデータ) (2023-09-20T23:24:22Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳(メタデータ) (2023-08-23T22:38:35Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳(メタデータ) (2023-08-20T04:41:01Z) - Confidence-aware Personalized Federated Learning via Variational
Expectation Maximization [34.354154518009956]
パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。
PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。
階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-21T20:12:27Z) - Understanding and Improving Model Averaging in Federated Learning on
Heterogeneous Data [10.697936340766784]
我々は,クライアントモデルが非テクスチュティデータセットでトレーニングされた場合でも,FL(Federated Learning)における平均化が優れたグローバルモデルが得られることを示した。
我々は,グローバルモデルの損失を,クライアントモデルに関連する5つの要因に分解する。
論文 参考訳(メタデータ) (2023-05-13T06:19:55Z) - FedGH: Heterogeneous Federated Learning with Generalized Global Header [16.26231633749833]
フェデレートラーニング(Federated Learning, FL)は、複数のパーティが共有モデルをトレーニングできる、新興の機械学習パラダイムである。
本稿では,FedGH(Federated Global Prediction Header)アプローチを提案する。
FedGHは、クライアントモデルのための異種抽出器による表現で、共通化されたグローバルな予測ヘッダーを訓練する。
論文 参考訳(メタデータ) (2023-03-23T09:38:52Z) - Closing the Gap between Client and Global Model Performance in
Heterogeneous Federated Learning [2.1044900734651626]
カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。
KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
論文 参考訳(メタデータ) (2022-11-07T11:12:57Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳(メタデータ) (2022-03-17T11:18:17Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳(メタデータ) (2022-02-16T13:03:27Z) - Federated Learning With Quantized Global Model Updates [84.55126371346452]
モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。
本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-18T16:55:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。