論文の概要: Straggler-Resilient Differentially-Private Decentralized Learning

• arxiv url: http://arxiv.org/abs/2212.03080v3
• Date: Fri, 28 Jun 2024 10:52:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 22:29:40.811354
• Title: Straggler-Resilient Differentially-Private Decentralized Learning
• Title（参考訳）: ストラグラー-弾力性差分型分散型学習
• Authors: Yauhen Yakimenka, Chung-Wei Weng, Hsuan-Yin Lin, Eirik Rosnes, Jörg Kliewer,
• Abstract要約: ユーザデータのプライバシを保ちながら、論理リング上の分散学習におけるストラグラー問題を考える。 スキップスキームとベースラインスキームの両方に対して,収束速度とDPレベルの解析結果を導出した。
• 参考スコア（独自算出の注目度）: 22.399703712241546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the straggler problem in decentralized learning over a logical ring while preserving user data privacy. Especially, we extend the recently proposed framework of differential privacy (DP) amplification by decentralization by Cyffers and Bellet to include overall training latency--comprising both computation and communication latency. Analytical results on both the convergence speed and the DP level are derived for both a skipping scheme (which ignores the stragglers after a timeout) and a baseline scheme that waits for each node to finish before the training continues. A trade-off between overall training latency, accuracy, and privacy, parameterized by the timeout of the skipping scheme, is identified and empirically validated for logistic regression on a real-world dataset and for image classification using the MNIST and CIFAR-10 datasets.
• Abstract（参考訳）: ユーザデータのプライバシを保ちながら、論理リング上の分散学習におけるストラグラー問題を考える。 特に,Cyffers と Bellet による分散化により,最近提案された差分プライバシー(DP)増幅フレームワークを拡張して,計算処理と通信遅延の両面でのトレーニング遅延を包含する。 収束速度とDPレベルの両方の分析結果は、スキップスキーム(タイムアウト後にストラグラーを無視する)と、トレーニングが続く前に各ノードが終了するのを待つベースラインスキームの両方に対して導出される。 スキップスキームのタイムアウトによってパラメータ化され,実世界のデータセット上でのロジスティック回帰と,MNISTデータセットとCIFAR-10データセットを用いた画像分類において,全体のトレーニングレイテンシ,精度,プライバシのトレードオフを識別し,実証的に検証する。

関連論文リスト

• Rethinking Resource Management in Edge Learning: A Joint Pre-training and Fine-tuning Design Paradigm [87.47506806135746]
  一部のアプリケーションでは、エッジラーニングは、スクラッチから新しい2段階ラーニングへと焦点を移している。 本稿では,2段階のエッジ学習システムにおける共同コミュニケーションと計算資源管理の問題について考察する。 事前学習および微調整段階に対する共同資源管理の提案は,システム性能のトレードオフをうまくバランスさせることが示されている。
  論文  参考訳（メタデータ） (2024-04-01T00:21:11Z)
• On Generalization of Decentralized Learning with Separable Data [37.908159361149835]
  分離可能なデータに基づく勾配勾配勾配に基づく分散学習のアルゴリズム的および一般化特性について検討する。 具体的には、分散勾配降下と無限大で 0 に漸近する様々な損失関数に対して、新しい有限時間一般化境界を導出する。
  論文  参考訳（メタデータ） (2022-09-15T07:59:05Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Federated Stochastic Gradient Descent Begets Self-Induced Momentum [151.4322255230084]
  Federated Learning(FL)は、モバイルエッジシステムに適用可能な、新興の機械学習手法である。 このような条件下での勾配降下(SGD)への走行は,大域的な集約プロセスに運動量的な項を加えるとみなすことができる。
  論文  参考訳（メタデータ） (2022-02-17T02:01:37Z)
• Learning from Heterogeneous Data Based on Social Interactions over Graphs [58.34060409467834]
  本研究では,個別のエージェントが異なる次元のストリーミング特徴を観察しながら分類問題の解決を目指す分散アーキテクチャを提案する。 私たちはそれを示します。 戦略により、エージェントはこの高度に異質な環境下で一貫して学習することができる。 私たちはそれを示します。 戦略により、エージェントはこの高度に異質な環境下で一貫して学習することができる。
  論文  参考訳（メタデータ） (2021-12-17T12:47:18Z)
• Semi-Decentralized Federated Edge Learning for Fast Convergence on Non-IID Data [3.983055670167878]
  フェデレーテッドエッジラーニング(FEEL)は、クラウドベースの機械学習ソリューションにおける大きな通信遅延を減らす効果的な代替手段として登場しました。 半分散フェデレーションエッジラーニング(SD-FEEL)という新しいFEELの枠組みについて検討する。 SD-FEELは、異なるエッジクラスタ間のモデルアグリゲーションを可能にすることで、トレーニングの遅延を低減し、学習パフォーマンスを向上させるFEELの利点を享受します。
  論文  参考訳（メタデータ） (2021-04-26T16:11:47Z)
• Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
  フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。 本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T19:21:14Z)
• Privacy Amplification by Decentralization [0.0]
  我々は,完全分散プロトコルに自然発生する,新たなldp(local differential privacy)緩和を提案する。 本研究では,トークンがネットワークグラフ上でウォークを実行し,受信者によって順次更新される分散計算モデルについて検討する。 アルゴリズムのプライバシとユーティリティのトレードオフがLDPを大幅に改善し、信頼/安全アグリゲーションとシャッフルに基づく方法で達成できるものと一致していることを証明しています。
  論文  参考訳（メタデータ） (2020-12-09T21:33:33Z)
• Multi-Armed Bandit Based Client Scheduling for Federated Learning [91.91224642616882]
  統合学習(FL)は、通信オーバーヘッドの低減やデータのプライバシの保護など、ユビキタスな特性を特徴とする。 FLの各通信ラウンドでは、クライアントは自身のデータに基づいてローカルモデルを更新し、無線チャネル経由でローカル更新をアップロードする。 本研究は、無線チャネルの状態情報やクライアントの統計的特性を知ることなく、FLにおけるオンラインクライアントスケジューリング(CS)のためのマルチアームバンディットベースのフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-07-05T12:32:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。