論文の概要: TornadoAggregate: Accurate and Scalable Federated Learning via the
Ring-Based Architecture
- arxiv url: http://arxiv.org/abs/2012.03214v1
- Date: Sun, 6 Dec 2020 08:39:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-21 13:53:46.422550
- Title: TornadoAggregate: Accurate and Scalable Federated Learning via the
Ring-Based Architecture
- Title(参考訳): tornadoaggregate: リングベースアーキテクチャによる正確でスケーラブルな連合学習
- Authors: Jin-woo Lee, Jaehoon Oh, Sungsu Lim, Se-Young Yun, Jae-Gil Lee
- Abstract要約: フェデレートラーニングは、コラボレーション機械学習の新しいパラダイムとして登場した。
本稿では,リングアーキテクチャの高速化により,精度とスケーラビリティを両立させる新しいアルゴリズムを提案する。
実験の結果、TornadoAggregateはテストの精度を26.7%向上し、ほぼ直線的なスケーラビリティを実現した。
- 参考スコア(独自算出の注目度): 21.235463612217032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning has emerged as a new paradigm of collaborative machine
learning; however, many prior studies have used global aggregation along a star
topology without much consideration of the communication scalability or the
diurnal property relied on clients' local time variety. In contrast, ring
architecture can resolve the scalability issue and even satisfy the diurnal
property by iterating nodes without an aggregation. Nevertheless, such
ring-based algorithms can inherently suffer from the high-variance problem. To
this end, we propose a novel algorithm called TornadoAggregate that improves
both accuracy and scalability by facilitating the ring architecture. In
particular, to improve the accuracy, we reformulate the loss minimization into
a variance reduction problem and establish three principles to reduce variance:
Ring-Aware Grouping, Small Ring, and Ring Chaining. Experimental results show
that TornadoAggregate improved the test accuracy by up to 26.7% and achieved
near-linear scalability.
- Abstract(参考訳): 連合学習は、協調機械学習の新しいパラダイムとして登場したが、以前の多くの研究では、コミュニケーションのスケーラビリティやクライアントのローカル時間に依存する日次特性を考慮せずに、スタートポロジーに沿ってグローバルアグリゲーションを使用してきた。
対照的に、リングアーキテクチャはスケーラビリティの問題を解決することができ、集約なしでノードを反復することで昼行性も満たせる。
それでも、そのようなリングベースのアルゴリズムは本質的に高分散問題に悩まされる。
そこで本研究では,リングアーキテクチャの高速化により,精度とスケーラビリティを両立させるTornadoAggregateというアルゴリズムを提案する。
特に, 損失最小化を分散低減問題に再構成し, 分散低減のための3つの原理(リングアウェアグルーピング, 小リング, リングチェーン)を確立した。
実験の結果、TornadoAggregateはテストの精度を26.7%向上し、ほぼ直線的なスケーラビリティを実現した。
関連論文リスト
- Revisiting Rotation Averaging: Uncertainties and Robust Losses [51.64986160468128]
現在の手法の主な問題は、推定エピポーラを通して入力データと弱い結合しか持たない最小コスト関数である。
本稿では,点対応から回転平均化への不確実性を直接伝播させることにより,基礎となる雑音分布をモデル化することを提案する。
論文 参考訳(メタデータ) (2023-03-09T11:51:20Z) - Scalable Hierarchical Over-the-Air Federated Learning [3.8798345704175534]
この研究は、干渉とデバイスデータの不均一性の両方を扱うために設計された新しい2段階学習手法を導入する。
本稿では,提案アルゴリズムの収束を導出するための包括的数学的アプローチを提案する。
干渉とデータの不均一性にもかかわらず、提案アルゴリズムは様々なパラメータに対して高い学習精度を実現する。
論文 参考訳(メタデータ) (2022-11-29T12:46:37Z) - Communication-Efficient Distributed Quantile Regression with Optimal
Statistical Guarantees [2.064612766965483]
本稿では,分散量子レグレッションにおいて,厳密なスケーリング条件を伴わずに最適な推論を実現する方法の課題に対処する。
この問題は、ローカル(各データソース)とグローバルな目的関数に適用される二重平滑化アプローチによって解決される。
局所的および大域的滑らか化パラメータの微妙な組み合わせに依存するにもかかわらず、量子回帰モデルは完全にパラメトリックである。
論文 参考訳(メタデータ) (2021-10-25T17:09:59Z) - Fast Hypergraph Regularized Nonnegative Tensor Ring Factorization Based
on Low-Rank Approximation [19.43953011889585]
多様体学習を用いた非負テンソルリング(NTR)分解は多次元構造を利用するための有望なモデルとなっている。
本稿では,NTRの枠組みにハイパーグラフを導入し,特徴抽出をさらに強化する。
計算複雑性を低減し,ノイズを抑制するため,HGNTRの高速化に低ランク近似手法を適用した。
論文 参考訳(メタデータ) (2021-09-06T09:24:51Z) - Correlation Clustering Reconstruction in Semi-Adversarial Models [70.11015369368272]
相関クラスタリングは多くのアプリケーションにおいて重要なクラスタリング問題である。
本研究では,ランダムノイズや対向的な修正によって崩壊した潜伏クラスタリングを再構築しようとする,この問題の再構築版について検討する。
論文 参考訳(メタデータ) (2021-08-10T14:46:17Z) - Asynchronous Distributed Reinforcement Learning for LQR Control via
Zeroth-Order Block Coordinate Descent [18.573812178003422]
分散強化学習のための新しいゼロ階最適化アルゴリズムを提案する。
これにより、各エージェントはコンセンサスプロトコルを使わずに、コスト評価を独立してローカル勾配を推定できる。
論文 参考訳(メタデータ) (2021-07-26T18:11:07Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z) - Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。
まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。
そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
論文 参考訳(メタデータ) (2020-11-25T14:00:18Z) - Tackling the Objective Inconsistency Problem in Heterogeneous Federated
Optimization [93.78811018928583]
本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。
我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
論文 参考訳(メタデータ) (2020-07-15T05:01:23Z) - DessiLBI: Exploring Structural Sparsity of Deep Networks via
Differential Inclusion Paths [45.947140164621096]
逆スケール空間の差分包摂に基づく新しい手法を提案する。
DessiLBIが早期に「優勝チケット」を発表することを示す。
論文 参考訳(メタデータ) (2020-07-04T04:40:16Z) - When Residual Learning Meets Dense Aggregation: Rethinking the
Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。
我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文 参考訳(メタデータ) (2020-04-19T08:34:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。