論文の概要: ProvFL: Client-Driven Interpretability of Global Model Predictions in Federated Learning

• arxiv url: http://arxiv.org/abs/2312.13632v1
• Date: Thu, 21 Dec 2023 07:48:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 15:40:31.903083
• Title: ProvFL: Client-Driven Interpretability of Global Model Predictions in Federated Learning
• Title（参考訳）: ProvFL:フェデレートラーニングにおけるグローバルモデル予測のクライアント駆動解釈可能性
• Authors: Waris Gill (1), Ali Anwar (2), Muhammad Ali Gulzar (1) ((1) Virginia Tech, (2) University of Minnesota Twin Cities)
• Abstract要約: Federated Learning (FL)は、複数のトレーニングラウンドで複数のプライベートトレーニングされたクライアントのモデルを集約することで、共同機械学習モデルをトレーニングする。 ProvFLは、FLに含まれる個々のクライアントと最終グローバルモデルの間の情報の流れを追跡する、きめ細かい系統解析機構である。 ProvFLは、最先端のFLフォールトローカライゼーションアプローチを50%平均マージンで上回っている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) trains a collaborative machine learning model by aggregating multiple privately trained clients' models over several training rounds. Such a long, continuous action of model aggregations poses significant challenges in reasoning about the origin and composition of such a global model. Regardless of the quality of the global model or if it has a fault, understanding the model's origin is equally important for debugging, interpretability, and explainability in federated learning. FL application developers often question: (1) what clients contributed towards a global model and (2) if a global model predicts a label, which clients are responsible for it? We introduce, neuron provenance, a fine-grained lineage capturing mechanism that tracks the flow of information between the individual participating clients in FL and the final global model. We operationalize this concept in ProvFL that functions on two key principles. First, recognizing that monitoring every neuron of every client's model statically is ineffective and noisy due to the uninterpretable nature of individual neurons, ProvFL dynamically isolates influential and sensitive neurons in the global model, significantly reducing the search space. Second, as multiple clients' models are fused in each round to form a global model, tracking each client's contribution becomes challenging. ProvFL leverages the invertible nature of fusion algorithms to precisely isolate each client's contribution derived from selected neurons. When asked to localize the clients responsible for the given behavior (i.e., prediction) of the global model, ProvFL successfully localizes them with an average provenance accuracy of 97%. Additionally, ProvFL outperforms the state-of-the-art FL fault localization approach by an average margin of 50%.
• Abstract（参考訳）: Federated Learning (FL)は、複数のトレーニングラウンドで複数のプライベートトレーニングされたクライアントのモデルを集約することで、共同機械学習モデルをトレーニングする。 モデル集約のこのような長く連続的な作用は、そのような大域的なモデルの起源と構成について考える上で大きな課題となる。 グローバルモデルの品質や欠点があるかどうかに関わらず、モデルの起源を理解することは、フェデレーション学習におけるデバッグ、解釈可能性、説明可能性において等しく重要である。 flアプリケーション開発者はしばしば疑問を呈する: (1)グローバルモデルに寄与したクライアントと(2)グローバルモデルがラベルを予測した場合、どのクライアントに責任があるのか? FLにおける個々のクライアントと最終グローバルモデル間の情報の流れを追跡する,きめ細かな系統解析機構であるニューロン前駆体を導入する。 ProvFLでこの概念を運用し、2つの鍵となる原則で機能する。 第一に、各クライアントモデルの全ニューロンを静的に監視することは、個々のニューロンの解釈不能な性質のため、非効率でノイズであることを認め、ProvFLはグローバルモデルにおける影響力と感受性の強いニューロンを動的に分離し、サーチスペースを著しく減少させる。 第二に、複数のクライアントのモデルが各ラウンドに融合してグローバルモデルを形成すると、各クライアントの貢献を追跡することが困難になる。 ProvFLは融合アルゴリズムの可逆性を利用して、選択された神経細胞からそれぞれのクライアントの寄与を正確に分離する。 グローバルモデルの与えられた振る舞い(すなわち予測)に責任を持つクライアントのローカライズを依頼すると、provflはそれらを平均97%の精度でローカライズすることに成功した。 さらに、ProvFLは最先端のFLフォールトローカライゼーションアプローチを50%のマージンで上回っている。

関連論文リスト

• Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
  我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。 フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。 実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
  論文  参考訳（メタデータ） (2024-05-26T07:54:53Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Federated Learning with Neural Graphical Models [2.2721854258621064]
  フェデレートラーニング(FL)は、プロプライエタリなデータに基づいたモデルを作成する必要性に対処する。 我々は,局所的なNGMモデルから平均情報を学習するグローバルなNGMモデルを維持するFLフレームワークを開発した。 我々は、CDCの乳幼児死亡データからインサイトを抽出するためのFedNGMsの使用を実験的に実証した。
  論文  参考訳（メタデータ） (2023-09-20T23:24:22Z)
• Federated Learning for Semantic Parsing: Task Formulation, Evaluation Setup, New Algorithms [29.636944156801327]
  複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。 Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。 より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
  論文  参考訳（メタデータ） (2023-05-26T19:25:49Z)
• Understanding and Improving Model Averaging in Federated Learning on Heterogeneous Data [9.792805355704203]
  We study the loss landscape of model averaging in Federated Learning (FL)。 我々は,グローバルモデルの損失を,クライアントモデルに関連する5つの要因に分解する。 我々は,IMAを訓練後期のグローバルモデルに利用して,期待する速度からの偏差を低減することを提案する。
  論文  参考訳（メタデータ） (2023-05-13T06:19:55Z)
• FedGH: Heterogeneous Federated Learning with Generalized Global Header [16.26231633749833]
  フェデレートラーニング(Federated Learning, FL)は、複数のパーティが共有モデルをトレーニングできる、新興の機械学習パラダイムである。 本稿では,FedGH(Federated Global Prediction Header)アプローチを提案する。 FedGHは、クライアントモデルのための異種抽出器による表現で、共通化されたグローバルな予測ヘッダーを訓練する。
  論文  参考訳（メタデータ） (2023-03-23T09:38:52Z)
• DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
  非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。 自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。 本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
  論文  参考訳（メタデータ） (2022-11-20T06:13:06Z)
• Personalized Federated Learning through Local Memorization [10.925242558525683]
  フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。 最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。 本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-11-17T19:40:07Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。