論文の概要: FedDebug: Systematic Debugging for Federated Learning Applications
- arxiv url: http://arxiv.org/abs/2301.03553v2
- Date: Thu, 22 Feb 2024 23:10:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 18:47:47.133121
- Title: FedDebug: Systematic Debugging for Federated Learning Applications
- Title（参考訳）: FedDebug: フェデレーション学習アプリケーションのためのシステムデバッグ
- Authors: Waris Gill, Ali Anwar, Muhammad Ali Gulzar
- Abstract要約: フェデレートラーニング(FL)では、クライアントは独立してローカルモデルをトレーニングし、グローバルモデルを構築するために中央アグリゲータと共有する。
クライアントのデータにアクセスできないことや協調トレーニングにより、FLは医療画像などのデータプライバシの懸念のあるアプリケーションにアピールする。
我々は、2つの新しいフロントでのFLデバッグを前進させる系統的な障害ローカライゼーションフレームワークであるFed Debuggerを設計する。
- 参考スコア（独自算出の注目度）: 9.199535730500441
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In Federated Learning (FL), clients independently train local models and
share them with a central aggregator to build a global model. Impermissibility
to access clients' data and collaborative training make FL appealing for
applications with data-privacy concerns, such as medical imaging. However,
these FL characteristics pose unprecedented challenges for debugging. When a
global model's performance deteriorates, identifying the responsible rounds and
clients is a major pain point. Developers resort to trial-and-error debugging
with subsets of clients, hoping to increase the global model's accuracy or let
future FL rounds retune the model, which are time-consuming and costly.
We design a systematic fault localization framework, FedDebug, that advances
the FL debugging on two novel fronts. First, FedDebug enables interactive
debugging of realtime collaborative training in FL by leveraging record and
replay techniques to construct a simulation that mirrors live FL. FedDebug's
breakpoint can help inspect an FL state (round, client, and global model) and
move between rounds and clients' models seamlessly, enabling a fine-grained
step-by-step inspection. Second, FedDebug automatically identifies the
client(s) responsible for lowering the global model's performance without any
testing data and labels--both are essential for existing debugging techniques.
FedDebug's strengths come from adapting differential testing in conjunction
with neuron activations to determine the client(s) deviating from normal
behavior. FedDebug achieves 100% accuracy in finding a single faulty client and
90.3% accuracy in finding multiple faulty clients. FedDebug's interactive
debugging incurs 1.2% overhead during training, while it localizes a faulty
client in only 2.1% of a round's training time.
- Abstract（参考訳）: Federated Learning (FL)では、クライアントは独立してローカルモデルをトレーニングし、グローバルモデルを構築するために中央アグリゲータと共有する。
クライアントのデータにアクセスできないことや協調トレーニングにより、FLは医療画像などのデータプライバシの懸念のあるアプリケーションにアピールする。
しかし、これらのFL特性はデバッグに前例のない課題をもたらす。
グローバルモデルのパフォーマンスが低下すると、責任あるラウンドとクライアントを特定することが大きな痛点となる。
開発者は、クライアントのサブセットで試行錯誤デバッグをし、グローバルモデルの精度を高めたり、将来のFLラウンドでモデルを修正したりすることを望んでいる。
我々は,feddebugという系統的フォールトローカライズフレームワークを設計し,flデバッグを2つの新しいフロントで進める。
まずFedDebugは、記録と再生技術を活用してFLのリアルタイム協調トレーニングをインタラクティブにデバッグし、ライブFLをミラーするシミュレーションを構築する。
FedDebugのブレークポイントは、FL状態(全体、クライアント、グローバルモデル)を検査し、ラウンドとクライアントのモデルをシームレスに移動するのに役立ちます。
第二に、FedDebugはテストデータやラベルなしでグローバルモデルのパフォーマンスを低下させるクライアントを自動的に識別する。
FedDebugの強みは、正常な振る舞いから逸脱したクライアントを決定するために、ニューロンの活性化とともに差分テストを適用することにある。
FedDebugは、単一障害クライアントを見つける際の100%の精度と、複数の障害クライアントを見つける際の90.3%の精度を達成する。
feddebugのインタラクティブデバッグでは、トレーニング中に1.2%のオーバーヘッドが発生し、ラウンドのトレーニング時間の2.1%で障害のあるクライアントをローカライズする。
関連論文リスト
- FedAR: Addressing Client Unavailability in Federated Learning with Local Update Approximation and Rectification [8.747592727421596]
フェデレートラーニング(FL)は、クライアントがサーバの調整の下で機械学習モデルを協調的にトレーニングすることを可能にする。
FedARは、すべてのクライアントをグローバルモデルアップデートに参加させて、サーバ上の高品質なグローバルモデルを達成することができます。
FedARはまた、多くのクライアントが存在し、クライアントが利用できないという印象的なパフォーマンスを描いている。
論文 参考訳（メタデータ） (2024-07-26T21:56:52Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - TraceFL: Interpretability-Driven Debugging in Federated Learning via Neuron Provenance [8.18537013016659]
Federated Learningでは、クライアントはローカルデータ上でモデルをトレーニングし、中央サーバにアップデートを送信する。
このコラボレーティブでプライバシ保護のトレーニングには、コストがかかる — FL開発者は、特定のクライアントにグローバルモデル予測を提供する上で、重大な課題に直面しています。
TraceFLは、個々のクライアントからグローバルモデルへの情報の流れを追跡することで、グローバルモデルの予測に責任を持つクライアントを識別する、きめ細かいニューロンのプロファイランスキャプチャー機構である。
論文 参考訳（メタデータ） (2023-12-21T07:48:54Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - FedBug: A Bottom-Up Gradual Unfreezing Framework for Federated Learning [36.18217687935658]
Federated Learning(FL)は、複数のクライアントが共有モデルにコントリビュート可能な、協調的なトレーニングフレームワークを提供する。
ローカルデータセットの異種性のため、更新されたクライアントモデルは、クライアントドリフトの問題として知られる、互いにオーバーフィットし、分岐する可能性がある。
クライアントのドリフトを効果的に軽減する新しいFLフレームワークであるFedBugを提案する。
論文 参考訳（メタデータ） (2023-07-19T05:44:35Z) - FedCliP: Federated Learning with Client Pruning [3.796320380104124]
フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。
FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。
マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
論文 参考訳（メタデータ） (2023-01-17T09:15:37Z) - DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。
自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。
本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
論文 参考訳（メタデータ） (2022-11-20T06:13:06Z) - FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文 参考訳（メタデータ） (2022-10-31T22:59:03Z) - Latency Aware Semi-synchronous Client Selection and Model Aggregation
for Wireless Federated Learning [0.6882042556551609]
Federated Learning(FL)は、機械学習モデルのトレーニングプロセスに参加するために異なるクライアント(IoTデバイスなど)を必要とする、協調的な機械学習フレームワークである。
従来のFLプロセスは、異種クライアント設定のストラグラー問題に悩まされる可能性がある。
本稿では,すべてのクライアントがFLプロセス全体に参加することができるが周波数の異なるフェデレートリールネーリング(LESSON)法に対して,セミ同期クライアント選択とmOdelアグリゲーションアグリゲーションを提案する。
論文 参考訳（メタデータ） (2022-10-19T05:59:22Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL):
Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。
提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。
遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文 参考訳（メタデータ） (2021-01-18T07:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。