論文の概要: TraceFL: Interpretability-Driven Debugging in Federated Learning via Neuron Provenance
- arxiv url: http://arxiv.org/abs/2312.13632v3
- Date: Tue, 12 Nov 2024 00:12:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-13 13:19:42.292796
- Title: TraceFL: Interpretability-Driven Debugging in Federated Learning via Neuron Provenance
- Title（参考訳）: TraceFL: ニューラルネットワークによるフェデレーション学習における解釈可能性駆動型デバッグ
- Authors: Waris Gill, Ali Anwar, Muhammad Ali Gulzar,
- Abstract要約: Federated Learningでは、クライアントはローカルデータ上でモデルをトレーニングし、中央サーバにアップデートを送信する。
このコラボレーティブでプライバシ保護のトレーニングには、コストがかかる — FL開発者は、特定のクライアントにグローバルモデル予測を提供する上で、重大な課題に直面しています。
TraceFLは、個々のクライアントからグローバルモデルへの情報の流れを追跡することで、グローバルモデルの予測に責任を持つクライアントを識別する、きめ細かいニューロンのプロファイランスキャプチャー機構である。
- 参考スコア（独自算出の注目度）: 8.18537013016659
- License:
- Abstract: In Federated Learning, clients train models on local data and send updates to a central server, which aggregates them into a global model using a fusion algorithm. This collaborative yet privacy-preserving training comes at a cost--FL developers face significant challenges in attributing global model predictions to specific clients. Localizing responsible clients is a crucial step towards (a) excluding clients primarily responsible for incorrect predictions and (b) encouraging clients who contributed high-quality models to continue participating in the future. Existing ML explainability approaches are inherently inapplicable as they are designed for single-model, centralized training. We introduce TraceFL, a fine-grained neuron provenance capturing mechanism that identifies clients responsible for the global model's prediction by tracking the flow of information from individual clients to the global model. Since inference on different inputs activates a different set of neurons of the global model, TraceFL dynamically quantifies the significance of the global model's neurons in a given prediction. It then selectively picks a slice of the most crucial neurons in the global model and maps them to the corresponding neurons in every participating client to determine each client's contribution, ultimately localizing the responsible client. We evaluate TraceFL on six datasets, including two real-world medical imaging datasets and four neural networks, including advanced models such as GPT. TraceFL achieves 99% accuracy in localizing the responsible client in FL tasks spanning both image and text classification tasks. At a time when state-of-the-art ML debugging approaches are mostly domain-specific (e.g., image classification only), TraceFL is the first technique to enable highly accurate automated reasoning across a wide range of FL applications.
- Abstract（参考訳）: Federated Learningでは、クライアントはローカルデータ上でモデルをトレーニングし、中央サーバにアップデートを送信する。
このコラボレーティブでプライバシ保護のトレーニングには、コストがかかる — FL開発者は、特定のクライアントにグローバルモデル予測を提供する上で、重大な課題に直面しています。
責任あるクライアントのローカライズは重要なステップだ
(a)主に誤予測の責任を負う顧客を除外すること
(b)高品質なモデルに貢献した顧客に対して、今後も参加を奨励する。
既存のML説明可能性アプローチは、単一のモデル、集中型トレーニング用に設計されているため、本質的に適用不可能である。
TraceFLは、個々のクライアントからグローバルモデルへの情報の流れを追跡することで、グローバルモデルの予測に責任を持つクライアントを識別する、きめ細かいニューロンのプロファイランスキャプチャー機構である。
異なる入力に対する推論がグローバルモデルの異なるニューロンセットを活性化するため、TraceFLは与えられた予測でグローバルモデルのニューロンの意義を動的に定量化する。
その後、グローバルモデルにおいて最も重要なニューロンのスライスを選択的に選択し、各クライアントの対応するニューロンにマッピングして、それぞれのクライアントのコントリビューションを決定し、最終的に責任のあるクライアントをローカライズする。
我々は、現実世界の医療画像データセット2つと、GPTなどの先進モデルを含む4つのニューラルネットワークを含む6つのデータセット上でTraceFLを評価した。
TraceFLは、画像とテキストの分類タスクにまたがるFLタスクにおいて、責任あるクライアントのローカライズにおいて99%の精度を達成する。
最先端のMLデバッグアプローチがほとんどドメイン固有(画像分類のみ)である場合、TraceFLは幅広いFLアプリケーションにわたって高精度な自動推論を可能にする最初の技術である。
関連論文リスト
- Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。
フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。
実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
論文 参考訳（メタデータ） (2024-05-26T07:54:53Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - Federated Learning with Neural Graphical Models [2.2721854258621064]
フェデレートラーニング(FL)は、プロプライエタリなデータに基づいたモデルを作成する必要性に対処する。
我々は,局所的なNGMモデルから平均情報を学習するグローバルなNGMモデルを維持するFLフレームワークを開発した。
我々は、CDCの乳幼児死亡データからインサイトを抽出するためのFedNGMsの使用を実験的に実証した。
論文 参考訳（メタデータ） (2023-09-20T23:24:22Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳（メタデータ） (2023-05-26T19:25:49Z) - Understanding and Improving Model Averaging in Federated Learning on Heterogeneous Data [9.792805355704203]
We study the loss landscape of model averaging in Federated Learning (FL)。
我々は,グローバルモデルの損失を,クライアントモデルに関連する5つの要因に分解する。
我々は,IMAを訓練後期のグローバルモデルに利用して,期待する速度からの偏差を低減することを提案する。
論文 参考訳（メタデータ） (2023-05-13T06:19:55Z) - FedGH: Heterogeneous Federated Learning with Generalized Global Header [16.26231633749833]
フェデレートラーニング(Federated Learning, FL)は、複数のパーティが共有モデルをトレーニングできる、新興の機械学習パラダイムである。
本稿では,FedGH(Federated Global Prediction Header)アプローチを提案する。
FedGHは、クライアントモデルのための異種抽出器による表現で、共通化されたグローバルな予測ヘッダーを訓練する。
論文 参考訳（メタデータ） (2023-03-23T09:38:52Z) - DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。
自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。
本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
論文 参考訳（メタデータ） (2022-11-20T06:13:06Z) - Personalized Federated Learning through Local Memorization [10.925242558525683]
フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。
最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。
本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
論文 参考訳（メタデータ） (2021-11-17T19:40:07Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。