論文の概要: FedDebug: Systematic Debugging for Federated Learning Applications
- arxiv url: http://arxiv.org/abs/2301.03553v1
- Date: Mon, 9 Jan 2023 18:03:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 16:34:20.537105
- Title: FedDebug: Systematic Debugging for Federated Learning Applications
- Title（参考訳）: FedDebug: フェデレーション学習アプリケーションのためのシステムデバッグ
- Authors: Waris Gill, Ali Anwar, Muhammad Ali Gulzar
- Abstract要約: フェデレートラーニング(FL)では、クライアントはモデルをローカルにトレーニングし、中央アグリゲータと共有してグローバルモデルを構築します。
グローバルモデルのパフォーマンスが低下すると、ラウンドと責任のあるクライアントを見つけることが大きな問題になります。
我々は、2つの新しいフロントでのFLデバッグを前進させる系統的な障害ローカライゼーションフレームワークであるFed Debuggerを設計する。
- 参考スコア（独自算出の注目度）: 9.889820913839142
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In Federated Learning (FL), clients train a model locally and share it with a
central aggregator to build a global model. Impermissibility to access client's
data and collaborative training makes FL appealing for applications with
data-privacy concerns such as medical imaging. However, these FL
characteristics pose unprecedented challenges for debugging. When a global
model's performance deteriorates, finding the round and the clients responsible
is a major pain point. Developers resort to trial-and-error debugging with
subsets of clients, hoping to increase the accuracy or let future FL rounds
retune the model, which are time-consuming and costly.
We design a systematic fault localization framework, FedDebug, that advances
the FL debugging on two novel fronts. First, FedDebug enables interactive
debugging of realtime collaborative training in FL by leveraging record and
replay techniques to construct a simulation that mirrors live FL. FedDebug's
{\em breakpoint} can help inspect an FL state (round, client, and global model)
and seamlessly move between rounds and clients' models, enabling a fine-grained
step-by-step inspection. Second, FedDebug automatically identifies the client
responsible for lowering global model's performance without any testing data
and labels--both are essential for existing debugging techniques. FedDebug's
strengths come from adapting differential testing in conjunction with neurons
activations to determine the precise client deviating from normal behavior.
FedDebug achieves 100\% to find a single client and 90.3\% accuracy to find
multiple faulty clients. FedDebug's interactive debugging incurs 1.2\% overhead
during training, while it localizes a faulty client in only 2.1\% of a round's
training time. With FedDebug, we bring effective debugging practices to
federated learning, improving the quality and productivity of FL application
developers.
- Abstract（参考訳）: フェデレートラーニング(FL)では、クライアントはモデルをローカルにトレーニングし、中央アグリゲータと共有してグローバルモデルを構築します。
クライアントのデータにアクセスできないことや協調トレーニングにより、FLは医療画像のようなデータプライバシの懸念のあるアプリケーションにアピールする。
しかし、これらのFL特性はデバッグに前例のない課題をもたらす。
グローバルモデルのパフォーマンスが低下すると、ラウンドを見つけ、責任を負うクライアントを見つけることが大きな痛点となる。
開発者は、クライアントのサブセットで試行錯誤デバッグを頼りにしており、正確性を高めたり、将来のFLラウンドでモデルを再調整することを望んでいる。
我々は,feddebugという系統的フォールトローカライズフレームワークを設計し,flデバッグを2つの新しいフロントで進める。
まずFedDebugは、記録と再生技術を活用してFLのリアルタイム協調トレーニングをインタラクティブにデバッグし、ライブFLをミラーするシミュレーションを構築する。
FedDebug's {\em breakpoint} は、FL状態(全体、クライアント、グローバルモデル)を検査し、ラウンドとクライアントのモデルの間をシームレスに移動し、きめ細かいステップバイステップインスペクションを可能にする。
第二に、FedDebugはテストデータやラベルなしでグローバルモデルのパフォーマンスを低下させるクライアントを自動的に識別する。
FedDebugの強みは、神経細胞の活性化とともに差分テストを適用し、正常な振る舞いから逸脱した正確なクライアントを決定することである。
feddebugは、単一クライアントを見つける100\%と、複数の障害のあるクライアントを見つける90.3\%の精度を達成する。
feddebugのインタラクティブデバッグでは、トレーニング中に1.2\%のオーバーヘッドが発生し、ラウンドのトレーニング時間の2.1\%で障害のあるクライアントをローカライズする。
FedDebugでは、フェデレーション学習に効果的なデバッグプラクティスを導入し、FLアプリケーション開発者の品質と生産性を改善します。
関連論文リスト
- FedAR: Addressing Client Unavailability in Federated Learning with Local Update Approximation and Rectification [8.747592727421596]
フェデレートラーニング(FL)は、クライアントがサーバの調整の下で機械学習モデルを協調的にトレーニングすることを可能にする。
FedARは、すべてのクライアントをグローバルモデルアップデートに参加させて、サーバ上の高品質なグローバルモデルを達成することができます。
FedARはまた、多くのクライアントが存在し、クライアントが利用できないという印象的なパフォーマンスを描いている。
論文 参考訳（メタデータ） (2024-07-26T21:56:52Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - TraceFL: Interpretability-Driven Debugging in Federated Learning via Neuron Provenance [8.18537013016659]
Federated Learningでは、クライアントはローカルデータ上でモデルをトレーニングし、中央サーバにアップデートを送信する。
このコラボレーティブでプライバシ保護のトレーニングには、コストがかかる — FL開発者は、特定のクライアントにグローバルモデル予測を提供する上で、重大な課題に直面しています。
TraceFLは、個々のクライアントからグローバルモデルへの情報の流れを追跡することで、グローバルモデルの予測に責任を持つクライアントを識別する、きめ細かいニューロンのプロファイランスキャプチャー機構である。
論文 参考訳（メタデータ） (2023-12-21T07:48:54Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - FedBug: A Bottom-Up Gradual Unfreezing Framework for Federated Learning [36.18217687935658]
Federated Learning(FL)は、複数のクライアントが共有モデルにコントリビュート可能な、協調的なトレーニングフレームワークを提供する。
ローカルデータセットの異種性のため、更新されたクライアントモデルは、クライアントドリフトの問題として知られる、互いにオーバーフィットし、分岐する可能性がある。
クライアントのドリフトを効果的に軽減する新しいFLフレームワークであるFedBugを提案する。
論文 参考訳（メタデータ） (2023-07-19T05:44:35Z) - FedCliP: Federated Learning with Client Pruning [3.796320380104124]
フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。
FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。
マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
論文 参考訳（メタデータ） (2023-01-17T09:15:37Z) - DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。
自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。
本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
論文 参考訳（メタデータ） (2022-11-20T06:13:06Z) - FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文 参考訳（メタデータ） (2022-10-31T22:59:03Z) - Latency Aware Semi-synchronous Client Selection and Model Aggregation
for Wireless Federated Learning [0.6882042556551609]
Federated Learning(FL)は、機械学習モデルのトレーニングプロセスに参加するために異なるクライアント(IoTデバイスなど)を必要とする、協調的な機械学習フレームワークである。
従来のFLプロセスは、異種クライアント設定のストラグラー問題に悩まされる可能性がある。
本稿では,すべてのクライアントがFLプロセス全体に参加することができるが周波数の異なるフェデレートリールネーリング(LESSON)法に対して,セミ同期クライアント選択とmOdelアグリゲーションアグリゲーションを提案する。
論文 参考訳（メタデータ） (2022-10-19T05:59:22Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL):
Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。
提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。
遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文 参考訳（メタデータ） (2021-01-18T07:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。