論文の概要: Federated Dropout: Convergence Analysis and Resource Allocation
- arxiv url: http://arxiv.org/abs/2501.00379v1
- Date: Tue, 31 Dec 2024 10:24:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-05 17:11:52.255916
- Title: Federated Dropout: Convergence Analysis and Resource Allocation
- Title（参考訳）: Federated Dropout: 収束分析とリソース割り当て
- Authors: Sijing Xie, Dingzhu Wen, Xiaonan Liu, Changsheng You, Tharmalingam Ratnarajah, Kaibin Huang,
- Abstract要約: Federated Dropoutは、フェデレートされた学習をネットワークエッジにデプロイする際のコミュニケーションとボトルネックの両方を克服する効率的なテクニックである。
フェデレート・ドロップアウトの理論収束分析はまだ文献に欠けている。
全てのラウンドにおける損失関数を最小化するために、ドロップアウト率と帯域幅割り当てを協調的に最適化する低複雑さアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 43.51667477978089
- License:
- Abstract: Federated Dropout is an efficient technique to overcome both communication and computation bottlenecks for deploying federated learning at the network edge. In each training round, an edge device only needs to update and transmit a sub-model, which is generated by the typical method of dropout in deep learning, and thus effectively reduces the per-round latency. \textcolor{blue}{However, the theoretical convergence analysis for Federated Dropout is still lacking in the literature, particularly regarding the quantitative influence of dropout rate on convergence}. To address this issue, by using the Taylor expansion method, we mathematically show that the gradient variance increases with a scaling factor of $\gamma/(1-\gamma)$, with $\gamma \in [0, \theta)$ denoting the dropout rate and $\theta$ being the maximum dropout rate ensuring the loss function reduction. Based on the above approximation, we provide the convergence analysis for Federated Dropout. Specifically, it is shown that a larger dropout rate of each device leads to a slower convergence rate. This provides a theoretical foundation for reducing the convergence latency by making a tradeoff between the per-round latency and the overall rounds till convergence. Moreover, a low-complexity algorithm is proposed to jointly optimize the dropout rate and the bandwidth allocation for minimizing the loss function in all rounds under a given per-round latency and limited network resources. Finally, numerical results are provided to verify the effectiveness of the proposed algorithm.
- Abstract（参考訳）: Federated Dropoutは、フェデレートされた学習をネットワークエッジにデプロイする際の、コミュニケーションと計算のボトルネックを克服する効率的なテクニックである。
各トレーニングラウンドでは、エッジデバイスは、ディープラーニングにおける典型的なドロップアウト方式によって生成されるサブモデルを更新し、送信するだけで済むため、ラウンド毎のレイテンシを効果的に低減できる。
フェデレーションド・ドロップアウトの理論的収束解析は、依然として文献に欠けており、特にドロップアウトレートが収束率に定量的に与える影響についてである。
この問題に対処するため、Taylor拡張法を用いて、スケール係数が$\gamma/(1-\gamma)$で勾配分散が増加し、$\gamma \in [0, \theta)$がドロップアウト率、$\theta$が損失関数の減少を保証する最大ドロップアウト率であることを示す。
上記の近似に基づいて,フェデレート・ドロップアウトの収束解析を行う。
具体的には、各装置のドロップアウト率が大きくなり、収束速度が遅くなることを示した。
これにより、丸ごとのレイテンシと収束までのラウンド全体のトレードオフを行うことで収束遅延を低減する理論的基盤を提供する。
さらに,各ラウンド毎のレイテンシと限られたネットワークリソースの下での損失関数の最小化のために,ドロップアウト率と帯域幅割り当てを協調的に最適化する低複雑性アルゴリズムを提案する。
最後に,提案アルゴリズムの有効性を検証する数値計算結果を提案する。
関連論文リスト
- Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - Gradient Sparsification for Efficient Wireless Federated Learning with
Differential Privacy [25.763777765222358]
フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。
モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。
我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
論文 参考訳（メタデータ） (2023-04-09T05:21:15Z) - Convergence Acceleration in Wireless Federated Learning: A Stackelberg Game Approach [46.72890704790504]
本稿では,FLOWN(Federated Learning over Wireless Network)における収束時間の共同最適化に関する問題点について検討する。
エネルギー制約下でのFLOWNの参加デバイス選択の基準とプロトコルを考察し,そのデバイス選択への影響を導出する。
本稿では,AoUに基づくデバイス選択アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-09-14T13:20:26Z) - Green, Quantized Federated Learning over Wireless Networks: An
Energy-Efficient Design [68.86220939532373]
有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。
提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
論文 参考訳（メタデータ） (2022-07-19T16:37:24Z) - Wireless Quantized Federated Learning: A Joint Computation and
Communication Design [36.35684767732552]
本稿では、アップリンク伝送前の局所モデルパラメータを定量化することにより、FLの総収束時間を最小化することを目的とする。
グローバルラウンド全体の収束時間を最小限に抑えるため,計算,通信資源,量子化ビット数を共同で最適化する。
論文 参考訳（メタデータ） (2022-03-11T12:30:08Z) - Acceleration in Distributed Optimization Under Similarity [72.54787082152278]
集中ノードを持たないエージェントネットワーク上での分散(強い凸)最適化問題について検討する。
$varepsilon$-solutionは$tildemathcalrhoObig(sqrtfracbeta/mu (1-)log1/varepsilonbig)$通信ステップ数で達成される。
この速度は、関心のクラスに適用される分散ゴシップ-アルゴリズムの、初めて(ポリログ因子まで)より低い複雑性の通信境界と一致する。
論文 参考訳（メタデータ） (2021-10-24T04:03:00Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳（メタデータ） (2021-01-12T00:40:45Z) - Asymptotic convergence rate of Dropout on shallow linear neural networks [0.0]
本研究では, 微小線形ニューラルネットワークに適用する場合に, ドロップアウトとドロップコネクションによって誘導される目的関数の収束度を解析する。
我々は、勾配流の局所収束証明と、そのデータ、レート確率、NNの幅に依存する速度のバウンダリを得る。
論文 参考訳（メタデータ） (2020-12-01T19:02:37Z) - Advanced Dropout: A Model-free Methodology for Bayesian Dropout
Optimization [62.8384110757689]
ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する
先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。
7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
論文 参考訳（メタデータ） (2020-10-11T13:19:58Z) - Almost Sure Convergence of Dropout Algorithms for Neural Networks [0.0]
我々は、Dropout(on et al., 2012)にインスパイアされたニューラルネットワーク(NN)の乗算学習アルゴリズムの収束と速度について検討する。
本稿では,完全連結定常NNに対して,有意な有界なアクティベーション関数を持つ確率論的証明を提案する。
論文 参考訳（メタデータ） (2020-02-06T13:25:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。