Fugu-MT 論文翻訳(概要): A Neural Tangent Kernel View on Federated Averaging for Deep Linear Neural Network

論文の概要: A Neural Tangent Kernel View on Federated Averaging for Deep Linear Neural Network

arxiv url: http://arxiv.org/abs/2310.05495v1
Date: Mon, 9 Oct 2023 07:56:56 GMT
ステータス: 翻訳完了
システム内更新日: 2023-10-12 07:00:29.709390
Title: A Neural Tangent Kernel View on Federated Averaging for Deep Linear Neural Network
Title（参考訳）: ディープリニアニューラルネットワークのフェデレーション平均化に関する神経接核ビュー
Authors: Xin Liu, Dazhi Zhan, Wei Tao, Xin Ma, Yu Pan, Yu Ding, Zhisong Pan
Abstract要約: FedAvgは、データを共有せずにクライアントから協調的にモデルを作成するために広く使われているパラダイムである。ディープニューラルネットワークは、その単純な定式化による理論的対象のニューラルネットワークである。
参考スコア（独自算出の注目度）: 14.11059228725284
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated averaging (FedAvg) is a widely employed paradigm for collaboratively training models from distributed clients without sharing data. Nowadays, the neural network has achieved remarkable success due to its extraordinary performance, which makes it a preferred choice as the model in FedAvg. However, the optimization problem of the neural network is often non-convex even non-smooth. Furthermore, FedAvg always involves multiple clients and local updates, which results in an inaccurate updating direction. These properties bring difficulties in analyzing the convergence of FedAvg in training neural networks. Recently, neural tangent kernel (NTK) theory has been proposed towards understanding the convergence of first-order methods in tackling the non-convex problem of neural networks. The deep linear neural network is a classical model in theoretical subject due to its simple formulation. Nevertheless, there exists no theoretical result for the convergence of FedAvg in training the deep linear neural network. By applying NTK theory, we make a further step to provide the first theoretical guarantee for the global convergence of FedAvg in training deep linear neural networks. Specifically, we prove FedAvg converges to the global minimum at a linear rate $\mathcal{O}\big((1-\eta K /N)^t\big)$, where $t$ is the number of iterations, $\eta$ is the learning rate, $N$ is the number of clients and $K$ is the number of local updates. Finally, experimental evaluations on two benchmark datasets are conducted to empirically validate the correctness of our theoretical findings.
Abstract（参考訳）: フェデレーション平均化(federated averaging, fedavg)は、データを共有せずに分散クライアントからモデルを協調的にトレーニングするためのパラダイムである。今日では、このニューラルネットワークは、異常なパフォーマンスのために驚くべき成功を収めており、FedAvgのモデルとして好まれている。しかし、ニューラルネットワークの最適化問題は、しばしば非滑らかでも非凸である。さらに、FedAvgは常に複数のクライアントとローカル更新を伴い、不正確な更新方向となる。これらの性質は、ニューラルネットワークのトレーニングにおいてFedAvgの収束を分析するのに困難をもたらす。近年、ニューラルネットワークの非凸問題に取り組む一階法の収束を理解するために、ニューラルネットワーク(ntk)理論が提案されている。ディープ線形ニューラルネットワークは、その単純な定式化のために理論的対象において古典的なモデルである。それにもかかわらず、深層線形ニューラルネットワークの訓練におけるfedavgの収束に関する理論的結果は存在しない。 NTK理論を適用して、深層線形ニューラルネットワークのトレーニングにおいて、FedAvgのグローバル収束に対する最初の理論的保証を提供する。具体的には、$t$が反復数、$\eta$が学習率、$n$がクライアント数、$k$がローカル更新数である線形レート$\mathcal{o}\big((1-\eta k /n)^t\big)$でfedavgがグローバル最小値に収束することを証明する。最後に,2つのベンチマークデータセットにおける実験評価を行い,実験結果の正確性を実証的に検証した。

関連論文リスト

Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。非滑らかな正規化はしばしば機械学習タスクに組み込まれる。本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2025-04-17T08:32:25Z)
Vertical Federated Learning with Missing Features During Training and Inference [37.44022318612869]
本稿では,ニューラルネットワークに基づくモデルの学習と推論を効率的に行うための垂直連合学習手法を提案する。私たちのアプローチは単純だが効果的であり、タスクサンプリングと推論におけるパラメータの戦略的共有に依存しています。数値実験により, ベースライン上におけるLASER-VFLの性能が向上した。
論文参考訳（メタデータ） (2024-10-29T22:09:31Z)
Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
論文参考訳（メタデータ） (2023-11-03T13:34:44Z)
Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文参考訳（メタデータ） (2023-09-12T13:03:47Z)
Achieving Linear Speedup in Non-IID Federated Bilevel Learning [16.56643290676128]
我々はFedMBOという新しいフェデレーションバイレベルアルゴリズムを提案する。 We show that FedMBO achieve a convergence rate of $mathcalObig(frac1sqrtnK+frac1K+fracsqrtnK3/2big)$ on non-i.d.datasets。これは、i.d.d.federated bilevel optimizationに対する最初の理論的線形スピードアップ結果である。
論文参考訳（メタデータ） (2023-02-10T18:28:00Z)
TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels [141.29156234353133]
最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
論文参考訳（メタデータ） (2022-07-13T16:58:22Z)
On the Convergence of Heterogeneous Federated Learning with Arbitrary Adaptive Online Model Pruning [15.300983585090794]
任意適応型オンラインモデルプルーニングを用いた異種FLアルゴリズムの一元化フレームワークを提案する。特に、ある十分な条件下では、これらのアルゴリズムは一般的なスムーズなコスト関数に対して標準FLの定常点に収束する。コンバージェンスに影響を与える2つの要因として,プルーニング誘導雑音と最小カバレッジ指数を照らす。
論文参考訳（メタデータ） (2022-01-27T20:43:38Z)
Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
論文参考訳（メタデータ） (2021-12-15T09:50:25Z)
Distributed Sparse Feature Selection in Communication-Restricted Networks [6.9257380648471765]
疎線形回帰と特徴選択のための新しい分散スキームを提案し,理論的に解析する。データセット全体から因果次元を推定するために,ネットワーク内の情報共有をシンプルかつ効果的に行う手法を提案する。
論文参考訳（メタデータ） (2021-11-02T05:02:24Z)
Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文参考訳（メタデータ） (2021-06-20T13:51:18Z)
Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文参考訳（メタデータ） (2021-06-06T19:08:53Z)
A Revision of Neural Tangent Kernel-based Approaches for Neural Networks [34.75076385561115]
ニューラルネットワークカーネルを使用して、ネットワークが任意の有限トレーニングサンプルに完全に適合できることを示す。単純で解析的なカーネル関数は、完全に訓練されたネットワークと同等のものとして導出された。より厳密な分析により,スケーリングの問題が解決され,元のNTKに基づく結果の検証が可能となった。
論文参考訳（メタデータ） (2020-07-02T05:07:55Z)
Distributed Non-Convex Optimization with Sublinear Speedup under Intermittent Client Availability [46.85205907718874]
フェデレーション学習は新しい機械学習フレームワークで、多くのクライアントがトレーニングデータを共有することなく、協力的にモデルをトレーニングする。本研究では,間欠的なモバイル環境におけるフェデレーション学習の実践と課題について考察する。我々はFedLaAvg(略してFedLaAvg)と呼ばれる単純な分散非線形最適化アルゴリズムを提案する。我々の理論的解析は、FedLaAvgが$(E1/2/(NT1/2)$の収束率に達し、クライアントの総数に対してサブ線形速度を達成することを示している。
論文参考訳（メタデータ） (2020-02-18T06:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。