論文の概要: Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning
- arxiv url: http://arxiv.org/abs/2409.14280v1
- Date: Sun, 22 Sep 2024 00:49:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 23:26:16.293437
- Title: Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning
- Title（参考訳）: 確率的外勾配の加速:分散およびフェデレート学習におけるコミュニケーションの低減を目的としたヘッセンとグラディエント類似性の混合
- Authors: Dmitry Bylinkin, Kirill Degtyarev, Aleksandr Beznosikov,
- Abstract要約: 分散コンピューティングはデバイス間の通信を伴うため、効率性とプライバシという2つの重要な問題を解決する必要がある。
本稿では,データ類似性とクライアントサンプリングのアイデアを取り入れた新しい手法について分析する。
プライバシー問題に対処するために,付加雑音の手法を適用し,提案手法の収束への影響を解析する。
- 参考スコア（独自算出の注目度）: 50.382793324572845
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern realities and trends in learning require more and more generalization ability of models, which leads to an increase in both models and training sample size. It is already difficult to solve such tasks in a single device mode. This is the reason why distributed and federated learning approaches are becoming more popular every day. Distributed computing involves communication between devices, which requires solving two key problems: efficiency and privacy. One of the most well-known approaches to combat communication costs is to exploit the similarity of local data. Both Hessian similarity and homogeneous gradients have been studied in the literature, but separately. In this paper, we combine both of these assumptions in analyzing a new method that incorporates the ideas of using data similarity and clients sampling. Moreover, to address privacy concerns, we apply the technique of additional noise and analyze its impact on the convergence of the proposed method. The theory is confirmed by training on real datasets.
- Abstract（参考訳）: 学習の現代的現実と傾向はモデルのより一般化能力を必要とし、モデルとトレーニングサンプルサイズの両方が増加する。
このようなタスクを単一のデバイスモードで解決することは、すでに困難である。
これが、分散学習アプローチとフェデレーション学習アプローチが毎日人気を増している理由です。
分散コンピューティングはデバイス間の通信を伴うため、効率性とプライバシという2つの重要な問題を解決する必要がある。
通信コストと戦うための最もよく知られたアプローチの1つは、ローカルデータの類似性を活用することである。
ヘッセンの類似性と同質勾配の両方が文献で研究されているが、別々に研究されている。
本稿では、データ類似性とクライアントサンプリングのアイデアを取り入れた新しい手法を解析する上で、これら2つの仮定を組み合わせる。
さらに, プライバシー問題に対処するため, 付加雑音の手法を適用し, 提案手法の収束への影響を解析する。
この理論は、実際のデータセットのトレーニングによって確認される。
関連論文リスト
- Interpretable Data Fusion for Distributed Learning: A Representative Approach via Gradient Matching [19.193379036629167]
本稿では,複数の生データポイントを仮想表現に変換する分散学習のための代表的アプローチを提案する。
これにより、広範囲なデータセットを消化可能なフォーマットに凝縮し、直感的な人間と機械の相互作用を促進する。
論文 参考訳（メタデータ） (2024-05-06T18:21:41Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - Federated Learning of Models Pre-Trained on Different Features with
Consensus Graphs [19.130197923214123]
プライベートデータセットと分散データセットで効果的なグローバルモデルを学ぶことは、機械学習においてますます重要な課題になりつつある。
本稿では,局所モデルから局所表現を抽出し,それらをグローバル表現に組み込んで予測性能を向上させる特徴融合手法を提案する。
本稿では,これらの問題に対する解決策を提示し,電力網や交通網などの時系列データを用いた実世界の応用例を示す。
論文 参考訳（メタデータ） (2023-06-02T02:24:27Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - Privacy and Efficiency of Communications in Federated Split Learning [5.902531418542073]
我々は、両方の効率性とプライバシの利点を組み合わせた、新しいハイブリッドなFederated Split Learningアーキテクチャを提案する。
我々の評価は,分散学習システムを実行する各クライアントが必要とする処理パワーを,ハイブリッドなフェデレート・スプリット・ラーニング・アプローチがいかに削減できるかを示すものである。
また、ディープラーニングのプライバシ推論攻撃に対するアプローチのレジリエンスについても論じ、最近提案された他のベンチマークと比較した。
論文 参考訳（メタデータ） (2023-01-04T21:16:55Z) - Federated Pruning: Improving Neural Network Efficiency with Federated
Learning [24.36174705715827]
フェデレーテッド・プルーニング(Federated Pruning)は、フェデレーテッド・セッティングの下で縮小モデルのトレーニングを行う。
異なる刈り取り方式を探索し,提案手法の有効性の実証的証拠を提供する。
論文 参考訳（メタデータ） (2022-09-14T00:48:37Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - Non-IID data and Continual Learning processes in Federated Learning: A
long road ahead [58.720142291102135]
フェデレートラーニング(Federated Learning)は、複数のデバイスや機関が、データをプライベートに保存しながら、機械学習モデルを協調的にトレーニングすることを可能にする、新しいフレームワークである。
本研究では,データの統計的不均一性を正式に分類し,それに直面することのできる最も顕著な学習戦略をレビューする。
同時に、継続学習のような他の機械学習フレームワークからのアプローチを導入し、データの不均一性にも対処し、フェデレートラーニング設定に容易に適応できるようにします。
論文 参考訳（メタデータ） (2021-11-26T09:57:11Z) - A Federated Learning Aggregation Algorithm for Pervasive Computing:
Evaluation and Comparison [0.6299766708197883]
広範コンピューティングは、サービス提供のために、リビングスペースに接続デバイスをインストールすることを促進する。
エッジリソースの高度な利用と、エンジニアリングアプリケーションのための機械学習技術の統合だ。
本稿では,FedDistと呼ばれる新しいアグリゲーションアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-10-19T19:43:28Z) - Distributed Methods with Compressed Communication for Solving
Variational Inequalities, with Theoretical Guarantees [115.08148491584997]
本稿では,MASHA1 と MASHA2 の圧縮通信による変分不等式とサドル点問題の解法について理論的に検討した。
新しいアルゴリズムは双方向圧縮をサポートし、バッチの設定や、クライアントの部分的な参加を伴うフェデレーション学習のために修正することもできる。
論文 参考訳（メタデータ） (2021-10-07T10:04:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。