論文の概要: FedDebug: Systematic Debugging for Federated Learning Applications
- arxiv url: http://arxiv.org/abs/2301.03553v1
- Date: Mon, 9 Jan 2023 18:03:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 16:34:20.537105
- Title: FedDebug: Systematic Debugging for Federated Learning Applications
- Title(参考訳): FedDebug: フェデレーション学習アプリケーションのためのシステムデバッグ
- Authors: Waris Gill, Ali Anwar, Muhammad Ali Gulzar
- Abstract要約: フェデレートラーニング(FL)では、クライアントはモデルをローカルにトレーニングし、中央アグリゲータと共有してグローバルモデルを構築します。
グローバルモデルのパフォーマンスが低下すると、ラウンドと責任のあるクライアントを見つけることが大きな問題になります。
我々は、2つの新しいフロントでのFLデバッグを前進させる系統的な障害ローカライゼーションフレームワークであるFed Debuggerを設計する。
- 参考スコア(独自算出の注目度): 9.889820913839142
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In Federated Learning (FL), clients train a model locally and share it with a
central aggregator to build a global model. Impermissibility to access client's
data and collaborative training makes FL appealing for applications with
data-privacy concerns such as medical imaging. However, these FL
characteristics pose unprecedented challenges for debugging. When a global
model's performance deteriorates, finding the round and the clients responsible
is a major pain point. Developers resort to trial-and-error debugging with
subsets of clients, hoping to increase the accuracy or let future FL rounds
retune the model, which are time-consuming and costly.
We design a systematic fault localization framework, FedDebug, that advances
the FL debugging on two novel fronts. First, FedDebug enables interactive
debugging of realtime collaborative training in FL by leveraging record and
replay techniques to construct a simulation that mirrors live FL. FedDebug's
{\em breakpoint} can help inspect an FL state (round, client, and global model)
and seamlessly move between rounds and clients' models, enabling a fine-grained
step-by-step inspection. Second, FedDebug automatically identifies the client
responsible for lowering global model's performance without any testing data
and labels--both are essential for existing debugging techniques. FedDebug's
strengths come from adapting differential testing in conjunction with neurons
activations to determine the precise client deviating from normal behavior.
FedDebug achieves 100\% to find a single client and 90.3\% accuracy to find
multiple faulty clients. FedDebug's interactive debugging incurs 1.2\% overhead
during training, while it localizes a faulty client in only 2.1\% of a round's
training time. With FedDebug, we bring effective debugging practices to
federated learning, improving the quality and productivity of FL application
developers.
- Abstract(参考訳): フェデレートラーニング(FL)では、クライアントはモデルをローカルにトレーニングし、中央アグリゲータと共有してグローバルモデルを構築します。
クライアントのデータにアクセスできないことや協調トレーニングにより、FLは医療画像のようなデータプライバシの懸念のあるアプリケーションにアピールする。
しかし、これらのFL特性はデバッグに前例のない課題をもたらす。
グローバルモデルのパフォーマンスが低下すると、ラウンドを見つけ、責任を負うクライアントを見つけることが大きな痛点となる。
開発者は、クライアントのサブセットで試行錯誤デバッグを頼りにしており、正確性を高めたり、将来のFLラウンドでモデルを再調整することを望んでいる。
我々は,feddebugという系統的フォールトローカライズフレームワークを設計し,flデバッグを2つの新しいフロントで進める。
まずFedDebugは、記録と再生技術を活用してFLのリアルタイム協調トレーニングをインタラクティブにデバッグし、ライブFLをミラーするシミュレーションを構築する。
FedDebug's {\em breakpoint} は、FL状態(全体、クライアント、グローバルモデル)を検査し、ラウンドとクライアントのモデルの間をシームレスに移動し、きめ細かいステップバイステップインスペクションを可能にする。
第二に、FedDebugはテストデータやラベルなしでグローバルモデルのパフォーマンスを低下させるクライアントを自動的に識別する。
FedDebugの強みは、神経細胞の活性化とともに差分テストを適用し、正常な振る舞いから逸脱した正確なクライアントを決定することである。
feddebugは、単一クライアントを見つける100\%と、複数の障害のあるクライアントを見つける90.3\%の精度を達成する。
feddebugのインタラクティブデバッグでは、トレーニング中に1.2\%のオーバーヘッドが発生し、ラウンドのトレーニング時間の2.1\%で障害のあるクライアントをローカライズする。
FedDebugでは、フェデレーション学習に効果的なデバッグプラクティスを導入し、FLアプリケーション開発者の品質と生産性を改善します。
関連論文リスト
- ProvFL: Client-Driven Interpretability of Global Model Predictions in
Federated Learning [0.0]
Federated Learning (FL)は、複数のトレーニングラウンドで複数のプライベートトレーニングされたクライアントのモデルを集約することで、共同機械学習モデルをトレーニングする。
ProvFLは、FLに含まれる個々のクライアントと最終グローバルモデルの間の情報の流れを追跡する、きめ細かい系統解析機構である。
ProvFLは、最先端のFLフォールトローカライゼーションアプローチを50%平均マージンで上回っている。
論文 参考訳(メタデータ) (2023-12-21T07:48:54Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳(メタデータ) (2023-08-20T04:41:01Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - FedBug: A Bottom-Up Gradual Unfreezing Framework for Federated Learning [36.18217687935658]
Federated Learning(FL)は、複数のクライアントが共有モデルにコントリビュート可能な、協調的なトレーニングフレームワークを提供する。
ローカルデータセットの異種性のため、更新されたクライアントモデルは、クライアントドリフトの問題として知られる、互いにオーバーフィットし、分岐する可能性がある。
クライアントのドリフトを効果的に軽減する新しいFLフレームワークであるFedBugを提案する。
論文 参考訳(メタデータ) (2023-07-19T05:44:35Z) - FedCliP: Federated Learning with Client Pruning [3.796320380104124]
フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。
FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。
マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
論文 参考訳(メタデータ) (2023-01-17T09:15:37Z) - DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。
自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。
本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
論文 参考訳(メタデータ) (2022-11-20T06:13:06Z) - FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文 参考訳(メタデータ) (2022-10-31T22:59:03Z) - Latency Aware Semi-synchronous Client Selection and Model Aggregation
for Wireless Federated Learning [0.6882042556551609]
Federated Learning(FL)は、機械学習モデルのトレーニングプロセスに参加するために異なるクライアント(IoTデバイスなど)を必要とする、協調的な機械学習フレームワークである。
従来のFLプロセスは、異種クライアント設定のストラグラー問題に悩まされる可能性がある。
本稿では,すべてのクライアントがFLプロセス全体に参加することができるが周波数の異なるフェデレートリールネーリング(LESSON)法に対して,セミ同期クライアント選択とmOdelアグリゲーションアグリゲーションを提案する。
論文 参考訳(メタデータ) (2022-10-19T05:59:22Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - FedPrune: Towards Inclusive Federated Learning [1.308951527147782]
フェデレートラーニング(Federated Learning, FL)は、分散データの共有モデルをプライバシ保護形式でトレーニングする分散学習技術である。
我々は,この課題に対処するシステムであるFedPruneを提案する。
Central Limit Theoremからの洞察を利用することで、FedPruneは非IIDデータよりも堅牢なパフォーマンスを実現する新しい集約テクニックを取り入れている。
論文 参考訳(メタデータ) (2021-10-27T06:33:38Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL):
Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。
提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。
遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文 参考訳(メタデータ) (2021-01-18T07:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。