論文の概要: TornadoAggregate: Accurate and Scalable Federated Learning via the Ring-Based Architecture

• arxiv url: http://arxiv.org/abs/2012.03214v1
• Date: Sun, 6 Dec 2020 08:39:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-21 13:53:46.422550
• Title: TornadoAggregate: Accurate and Scalable Federated Learning via the Ring-Based Architecture
• Title（参考訳）: tornadoaggregate: リングベースアーキテクチャによる正確でスケーラブルな連合学習
• Authors: Jin-woo Lee, Jaehoon Oh, Sungsu Lim, Se-Young Yun, Jae-Gil Lee
• Abstract要約: フェデレートラーニングは、コラボレーション機械学習の新しいパラダイムとして登場した。 本稿では,リングアーキテクチャの高速化により,精度とスケーラビリティを両立させる新しいアルゴリズムを提案する。 実験の結果、TornadoAggregateはテストの精度を26.7%向上し、ほぼ直線的なスケーラビリティを実現した。
• 参考スコア（独自算出の注目度）: 21.235463612217032
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning has emerged as a new paradigm of collaborative machine learning; however, many prior studies have used global aggregation along a star topology without much consideration of the communication scalability or the diurnal property relied on clients' local time variety. In contrast, ring architecture can resolve the scalability issue and even satisfy the diurnal property by iterating nodes without an aggregation. Nevertheless, such ring-based algorithms can inherently suffer from the high-variance problem. To this end, we propose a novel algorithm called TornadoAggregate that improves both accuracy and scalability by facilitating the ring architecture. In particular, to improve the accuracy, we reformulate the loss minimization into a variance reduction problem and establish three principles to reduce variance: Ring-Aware Grouping, Small Ring, and Ring Chaining. Experimental results show that TornadoAggregate improved the test accuracy by up to 26.7% and achieved near-linear scalability.
• Abstract（参考訳）: 連合学習は、協調機械学習の新しいパラダイムとして登場したが、以前の多くの研究では、コミュニケーションのスケーラビリティやクライアントのローカル時間に依存する日次特性を考慮せずに、スタートポロジーに沿ってグローバルアグリゲーションを使用してきた。 対照的に、リングアーキテクチャはスケーラビリティの問題を解決することができ、集約なしでノードを反復することで昼行性も満たせる。 それでも、そのようなリングベースのアルゴリズムは本質的に高分散問題に悩まされる。 そこで本研究では,リングアーキテクチャの高速化により,精度とスケーラビリティを両立させるTornadoAggregateというアルゴリズムを提案する。 特に, 損失最小化を分散低減問題に再構成し, 分散低減のための3つの原理(リングアウェアグルーピング, 小リング, リングチェーン)を確立した。 実験の結果、TornadoAggregateはテストの精度を26.7%向上し、ほぼ直線的なスケーラビリティを実現した。

関連論文リスト

• Noise-Robust and Resource-Efficient ADMM-based Federated Learning [6.957420925496431]
  フェデレートラーニング(FL)は、クライアントサーバ通信を活用して、分散データ上でグローバルモデルをトレーニングする。 本稿では,通信負荷を低減しつつ,通信騒音に対するロバスト性を高める新しいFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-20T12:32:22Z)
• OCMG-Net: Neural Oriented Normal Refinement for Unstructured Point Clouds [18.234146052486054]
  非構造点雲から指向性正規項を推定するための頑健な精錬法を提案する。 我々のフレームワークは、初期指向の正規性を洗練させるために、特徴空間に符号配向とデータ拡張を組み込んでいる。 従来手法に存在した騒音による方向の不整合の問題に対処するため, チャンファー正規距離と呼ばれる新しい指標を導入する。
  論文  参考訳（メタデータ） (2024-09-02T09:30:02Z)
• Fast Point Cloud Geometry Compression with Context-based Residual Coding and INR-based Refinement [19.575833741231953]
  我々は、KNN法を用いて、原表面点の近傍を決定する。 条件付き確率モデルは局所幾何学に適応し、大きな速度減少をもたらす。 暗黙のニューラル表現を精製層に組み込むことで、デコーダは任意の密度で下面の点をサンプリングすることができる。
  論文  参考訳（メタデータ） (2024-08-06T05:24:06Z)
• Revisiting Rotation Averaging: Uncertainties and Robust Losses [51.64986160468128]
  現在の手法の主な問題は、推定エピポーラを通して入力データと弱い結合しか持たない最小コスト関数である。 本稿では,点対応から回転平均化への不確実性を直接伝播させることにより,基礎となる雑音分布をモデル化することを提案する。
  論文  参考訳（メタデータ） (2023-03-09T11:51:20Z)
• Scalable Hierarchical Over-the-Air Federated Learning [3.8798345704175534]
  この研究は、干渉とデバイスデータの不均一性の両方を扱うために設計された新しい2段階学習手法を導入する。 本稿では,提案アルゴリズムの収束を導出するための包括的数学的アプローチを提案する。 干渉とデータの不均一性にもかかわらず、提案アルゴリズムは様々なパラメータに対して高い学習精度を実現する。
  論文  参考訳（メタデータ） (2022-11-29T12:46:37Z)
• Correlation Clustering Reconstruction in Semi-Adversarial Models [70.11015369368272]
  相関クラスタリングは多くのアプリケーションにおいて重要なクラスタリング問題である。 本研究では,ランダムノイズや対向的な修正によって崩壊した潜伏クラスタリングを再構築しようとする,この問題の再構築版について検討する。
  論文  参考訳（メタデータ） (2021-08-10T14:46:17Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
  本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。 まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。 そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-25T14:00:18Z)
• Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
  本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。 我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
  論文  参考訳（メタデータ） (2020-07-15T05:01:23Z)
• DessiLBI: Exploring Structural Sparsity of Deep Networks via Differential Inclusion Paths [45.947140164621096]
  逆スケール空間の差分包摂に基づく新しい手法を提案する。 DessiLBIが早期に「優勝チケット」を発表することを示す。
  論文  参考訳（メタデータ） (2020-07-04T04:40:16Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。