Fugu-MT 論文翻訳(概要): Hierarchical Federated ADMM

論文の概要: Hierarchical Federated ADMM

arxiv url: http://arxiv.org/abs/2409.18796v1
Date: Fri, 27 Sep 2024 14:50:36 GMT
ステータス: 処理完了
システム内更新日: 2024-10-01 11:53:50.436397
Title: Hierarchical Federated ADMM
Title（参考訳）: Hierarchical Federated ADMM
Authors: Seyed Mohammad Azimi-Abarghouyi, Nicola Bastianello, Karl H. Johansson, Viktoria Fodor,
Abstract要約: 乗算器の交互方向法(ADMM)に基づく新しい階層型フェデレーション学習フレームワークを開発する。本フレームワークでは,上位層でADMMを使用する2つの新しいFLアルゴリズムを提案する。実験では,従来のアルゴリズムと比較して,学習収束度と精度の点で,提案アルゴリズムの優位性を示す。
参考スコア（独自算出の注目度）: 3.0748861313823
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: In this paper, we depart from the widely-used gradient descent-based hierarchical federated learning (FL) algorithms to develop a novel hierarchical FL framework based on the alternating direction method of multipliers (ADMM). Within this framework, we propose two novel FL algorithms, which both use ADMM in the top layer: one that employs ADMM in the lower layer and another that uses the conventional gradient descent-based approach. The proposed framework enhances privacy, and experiments demonstrate the superiority of the proposed algorithms compared to the conventional algorithms in terms of learning convergence and accuracy. Additionally, gradient descent on the lower layer performs well even if the number of local steps is very limited, while ADMM on both layers lead to better performance otherwise.
Abstract（参考訳）: 本稿では、勾配勾配に基づく階層型学習(FL)アルゴリズムから脱却し、乗算器の交互方向法(ADMM)に基づく新しい階層型FLフレームワークを開発する。本稿では,上位層にADMMを,下位層にADMMを,下位層にADMMを,下位層にADMMを用いる2つの新しいFLアルゴリズムを提案する。提案フレームワークは,プライバシを強化し,学習収束度と精度の点で従来のアルゴリズムと比較して,提案アルゴリズムの優位性を実証した。さらに、各レイヤのADMMは、ローカルステップの数が非常に限られていても、下位レイヤの勾配勾配は良好に機能する。

関連論文リスト

AA-DLADMM: An Accelerated ADMM-based Framework for Training Deep Neural Networks [1.3812010983144802]
勾配降下(SGD)とその多くの変種は、ディープニューラルネットワークを訓練するための広範な最適化アルゴリズムである。 SGDは、勾配の消失、理論的保証の欠如、入力に対するかなりの感度など、避けられない欠点に悩まされている。本稿では,この欠点に対処するため,Anderson Acceleration for Deep Learning ADMM (AA-DLADMM)アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-01-08T01:22:00Z)
The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文参考訳（メタデータ） (2023-03-17T02:01:11Z)
WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文参考訳（メタデータ） (2023-01-03T20:57:22Z)
Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文参考訳（メタデータ） (2022-10-07T03:52:27Z)
On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
バイレベル最適化は、幅広い機械学習モデルに適用されている。既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
論文参考訳（メタデータ） (2022-06-30T05:29:52Z)
Federated Learning via Inexact ADMM [46.99210047518554]
本稿では,乗算器の不正確な交互方向法(ADMM)を提案する。どちらも通信効率が高く、ストラグラー効果と戦うことができ、穏やかな条件下で収束する。フェデレート学習のためのいくつかの最先端アルゴリズムと比較して高い数値性能を持つ。
論文参考訳（メタデータ） (2022-04-22T09:55:33Z)
Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文参考訳（メタデータ） (2021-06-08T15:54:44Z)
Towards Quantized Model Parallelism for Graph-Augmented MLPs Based on Gradient-Free ADMM framework [22.5155416051303]
Graph Augmented Multi-layer Perceptron(GA-MLP)モデルはグラフニューラルネットワーク(GNN)の魅力的な代替品であるこれは、過度に滑らかな問題に耐性があり、より深いGA-MLPモデルによりより良い性能が得られるためである。本稿では,モデル並列化を実現するために,深層学習によるマルチプライヤの代替指向法(pdADMM)を提案する。
論文参考訳（メタデータ） (2021-05-20T15:37:42Z)
A Generic Descent Aggregation Framework for Gradient-based Bi-level Optimization [41.894281911990554]
両レベル学習タスクのための新しいBDA(Bi-level Descent Aggregation)フレームワークを開発した。 BDAは上層と下層の両方の階層的目的を集約する。従来の勾配に基づくbiレベル法の収束結果を改善するための新しい証明法を提案する。
論文参考訳（メタデータ） (2021-02-16T06:58:12Z)
Deep unfolding of the weighted MMSE beamforming algorithm [9.518010235273783]
MISOダウンリンクチャネルに対するWMMSEアルゴリズムに対する深部展開の新たな適用法を提案する。深層展開は、自然に専門家の知識を取り入れており、即時かつしっかりとしたアーキテクチャ選択の利点、トレーニング可能なパラメータの少ないこと、説明可能性の向上がある。シミュレーションにより、ほとんどの設定において、展開されたWMMSEは、一定回数の反復に対して、WMMSEよりも優れているか、等しく動作することを示す。
論文参考訳（メタデータ） (2020-06-15T14:51:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。