Fugu-MT 論文翻訳(概要): FedNMUT -- Federated Noisy Model Update Tracking Convergence Analysis

論文の概要: FedNMUT -- Federated Noisy Model Update Tracking Convergence Analysis

arxiv url: http://arxiv.org/abs/2403.13247v2
Date: Sun, 24 Mar 2024 20:58:50 GMT
ステータス: 処理完了
システム内更新日: 2024-03-26 10:58:39.834726
Title: FedNMUT -- Federated Noisy Model Update Tracking Convergence Analysis
Title（参考訳）: FedNMUT-Federated Noisy Model Update Tracking Convergence Analysis
Authors: Vishnu Pandi Chellapandi, Antesh Upadhyay, Abolfazl Hashemi, Stanislaw H. Żak,
Abstract要約: 分散ノイズモデル更新追跡フェデレート学習アルゴリズム(FedNMUT)を提案する。ノイズの多い通信チャネルで効率的に機能するように調整されている。 FedNMUTはノイズをパラメータに組み込んで、ノイズの多い通信チャネルの条件を模倣する。
参考スコア（独自算出の注目度）: 3.665841843512992
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A novel Decentralized Noisy Model Update Tracking Federated Learning algorithm (FedNMUT) is proposed that is tailored to function efficiently in the presence of noisy communication channels that reflect imperfect information exchange. This algorithm uses gradient tracking to minimize the impact of data heterogeneity while minimizing communication overhead. The proposed algorithm incorporates noise into its parameters to mimic the conditions of noisy communication channels, thereby enabling consensus among clients through a communication graph topology in such challenging environments. FedNMUT prioritizes parameter sharing and noise incorporation to increase the resilience of decentralized learning systems against noisy communications. Theoretical results for the smooth non-convex objective function are provided by us, and it is shown that the $\epsilon-$stationary solution is achieved by our algorithm at the rate of $\mathcal{O}\left(\frac{1}{\sqrt{T}}\right)$, where $T$ is the total number of communication rounds. Additionally, via empirical validation, we demonstrated that the performance of FedNMUT is superior to the existing state-of-the-art methods and conventional parameter-mixing approaches in dealing with imperfect information sharing. This proves the capability of the proposed algorithm to counteract the negative effects of communication noise in a decentralized learning framework.
Abstract（参考訳）: 不完全な情報交換を反映したノイズの多い通信チャネルの存在下で効率的に機能する分散型ノイズモデル更新追従フェデレートラーニングアルゴリズム(FedNMUT)を提案する。このアルゴリズムは、通信オーバーヘッドを最小限に抑えながら、データの不均一性の影響を最小限に抑えるために勾配追跡を用いる。提案アルゴリズムはノイズをパラメータに組み込んでノイズの多い通信チャネルの条件を模倣し,このような困難な環境での通信グラフトポロジを通じてクライアント間のコンセンサスを実現する。 FedNMUTは、分散学習システムのノイズコミュニケーションに対するレジリエンスを高めるために、パラメータ共有とノイズ導入を優先する。滑らかな非凸目的関数の理論的結果はわれわれによって提供され、$\epsilon-$stationary 解は、$\mathcal{O}\left(\frac{1}{\sqrt{T}}\right)$の速度でアルゴリズムによって達成される。さらに,実証検証により,FedNMUTの性能が従来の最先端手法や従来のパラメータ混合手法よりも優れており,不完全な情報共有に対処できることが実証された。これにより、分散学習フレームワークにおいて、通信ノイズの負の効果に対処するアルゴリズムの有効性が証明される。

関連論文リスト

Noise-Robust and Resource-Efficient ADMM-based Federated Learning [6.957420925496431]
フェデレートラーニング(FL)は、クライアントサーバ通信を活用して、分散データ上でグローバルモデルをトレーニングする。本稿では,通信負荷を低減しつつ,通信騒音に対するロバスト性を高める新しいFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-09-20T12:32:22Z)
Disentangled Noisy Correspondence Learning [56.06801962154915]
クロスモーダル検索は、モダリティ間の潜在対応を理解する上で重要である。 DisNCLはノイズ対応学習における特徴分散のための新しい情報理論フレームワークである。
論文参考訳（メタデータ） (2024-08-10T09:49:55Z)
Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文参考訳（メタデータ） (2023-10-16T05:49:28Z)
Improved Convergence Analysis and SNR Control Strategies for Federated Learning in the Presence of Noise [10.685862129925729]
本稿では,不完全/ノイズのアップリンク通信とダウンリンク通信で分散学習パラダイムを特徴付ける改良された収束解析手法を提案する。このような不完全なコミュニケーションシナリオは、新興通信システムやプロトコルにおけるFLの実践的な展開に現れます。
論文参考訳（メタデータ） (2023-07-14T15:35:57Z)
Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
論文参考訳（メタデータ） (2023-05-17T13:56:48Z)
On the Convergence of Decentralized Federated Learning Under Imperfect Information Sharing [6.48064541861595]
本稿では、ノイズの多い通信チャネルとしてモデル化された不完全な情報共有の存在下で、分散フェデレート学習(DFL)の3つの異なるアルゴリズムを提案する。その結果、不完全な情報共有の下では、勾配を混合する第3のスキームはノイズチャネルの存在下でより堅牢であることが示された。
論文参考訳（メタデータ） (2023-03-19T15:58:04Z)
Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
論文参考訳（メタデータ） (2023-02-19T17:42:35Z)
$z$-SignFedAvg: A Unified Stochastic Sign-based Compression for Federated Learning [14.363110221372274]
フェデレートラーニング(FL)は、将来性のあるプライバシ保護型分散ラーニングパラダイムである。 FLは、大規模な機械学習モデルをトレーニングする際に、高い通信コストに悩まされる。信号ベース圧縮のための一般対称雑音分布を用いた新しい雑音摂動方式を提案する。
論文参考訳（メタデータ） (2023-02-06T06:54:49Z)
Fundamental Limits of Communication Efficiency for Model Aggregation in Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。 SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
論文参考訳（メタデータ） (2022-06-28T13:10:40Z)
Communication-Efficient Stochastic Zeroth-Order Optimization for Federated Learning [28.65635956111857]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを共有せずに、グローバルモデルを協調的にトレーニングすることを可能にする。 FLの訓練効率を向上させるため,一階計算から一階法まで,様々なアルゴリズムが提案されている。
論文参考訳（メタデータ） (2022-01-24T08:56:06Z)
A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文参考訳（メタデータ） (2020-11-03T13:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。