Fugu-MT 論文翻訳(概要): Averaging Rate Scheduler for Decentralized Learning on Heterogeneous Data

論文の概要: Averaging Rate Scheduler for Decentralized Learning on Heterogeneous Data

arxiv url: http://arxiv.org/abs/2403.03292v1
Date: Tue, 5 Mar 2024 19:47:51 GMT
ステータス: 処理完了
システム内更新日: 2024-03-07 16:52:26.628176
Title: Averaging Rate Scheduler for Decentralized Learning on Heterogeneous Data
Title（参考訳）: 不均一データに基づく分散学習のための平均レートスケジューリング
Authors: Sai Aparna Aketi, Sakshi Choudhary, Kaushik Roy
Abstract要約: 最先端の分散学習アルゴリズムは、通常、データ分散を独立的かつ特定的分散(IID)でなければならない。本稿では,分散学習における異種性の影響を低減するための,単純かつ効果的な手法として平均化率スケジューリングを提案する。
参考スコア（独自算出の注目度）: 7.573297026523597
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: State-of-the-art decentralized learning algorithms typically require the data distribution to be Independent and Identically Distributed (IID). However, in practical scenarios, the data distribution across the agents can have significant heterogeneity. In this work, we propose averaging rate scheduling as a simple yet effective way to reduce the impact of heterogeneity in decentralized learning. Our experiments illustrate the superiority of the proposed method (~3% improvement in test accuracy) compared to the conventional approach of employing a constant averaging rate.
Abstract（参考訳）: 最先端の分散学習アルゴリズムは通常、データ分散を独立に、同一分散(iid)にする必要がある。しかし、現実的なシナリオでは、エージェント間でのデータ分布は著しく異質である。本研究では,分散学習における不均一性の影響を低減するための簡易かつ効果的な手法として平均レートスケジューリングを提案する。提案手法は, 従来の定平均化手法と比較して, 実験精度が約3%向上した。

関連論文リスト

Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文参考訳（メタデータ） (2024-04-24T09:04:36Z)
Distribution-Free Fair Federated Learning with Small Samples [54.63321245634712]
FedFaiREEは、分散化された環境で分散のないフェアラーニングのために小さなサンプルで開発された後処理アルゴリズムである。公正性と精度の両面において厳密な理論的保証を提供し,実験結果により,提案手法の堅牢な実証検証を行う。
論文参考訳（メタデータ） (2024-02-25T17:37:53Z)
Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。本研究は,D-SGDAの一般化における各因子の影響を解析した。また、最適凸凹設定を得るために一般化とバランスをとる。
論文参考訳（メタデータ） (2023-10-31T11:27:01Z)
Cross-feature Contrastive Loss for Decentralized Deep Learning on Heterogeneous Data [8.946847190099206]
異種データに基づく分散学習のための新しい手法を提案する。一対の隣接するエージェントのクロスフィーチャーは、他のエージェントのモデルパラメータに関するエージェントのデータから得られる特徴である。実験の結果,提案手法は異種データを用いた分散学習手法に比べて性能(テスト精度が0.2～4%向上)が優れていることがわかった。
論文参考訳（メタデータ） (2023-10-24T14:48:23Z)
Exact Subspace Diffusion for Decentralized Multitask Learning [17.592204922442832]
マルチタスク学習のための分散戦略は、よりニュアンスな方法でエージェント間の関係を誘導し、コンセンサスを強制せずにコラボレーションを促進する。本研究では,ネットワーク上の部分空間制約付きマルチタスク学習のための正確な拡散アルゴリズムの一般化を開発し,その平均二乗偏差の正確な式を導出する。予測された性能表現の精度を数値的に検証するとともに,近似予測に基づく代替案に対する提案手法の性能向上を検証した。
論文参考訳（メタデータ） (2023-04-14T19:42:19Z)
An Experimental Study of Data Heterogeneity in Federated Learning Methods for Medical Imaging [8.984706828657814]
フェデレーション学習は、複数の機関が、プライバシー保護の方法で、ローカルデータ上で機械学習モデルを協調的にトレーニングすることを可能にする。本研究では,データ不均一性の分類体系が,量スキュー,ラベル分布スキュー,画像取得スキューなどのフェデレーション学習方法に与える影響について検討した。本稿では,データ量スキューの重み付き平均値,重み付き損失量,ラベル分布スキューのバッチ正規化平均値など,データの不均一性からの性能低下を克服するいくつかの緩和策を提案する。
論文参考訳（メタデータ） (2021-07-18T05:47:48Z)
Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文参考訳（メタデータ） (2021-06-15T17:45:51Z)
Distributionally Robust Learning in Heterogeneous Contexts [29.60681287631439]
異なる文脈で得られたトレーニングデータから学習する問題を検討し、テストデータは分布シフトの影響を受けます。我々は,超過リスクに着目した分散ロバストな手法を開発し,従来の超保守的ミニマックスアプローチよりもパフォーマンスとロバスト性のトレードオフをより適切なものにする。
論文参考訳（メタデータ） (2021-05-18T14:00:34Z)
Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2021-02-09T11:27:14Z)
Adaptive Serverless Learning [114.36410688552579]
本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
論文参考訳（メタデータ） (2020-08-24T13:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。