Fugu-MT 論文翻訳(概要): Non-convex composite federated learning with heterogeneous data

論文の概要: Non-convex composite federated learning with heterogeneous data

arxiv url: http://arxiv.org/abs/2502.03958v1
Date: Thu, 06 Feb 2025 10:49:03 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-07 14:31:19.395395
Title: Non-convex composite federated learning with heterogeneous data
Title（参考訳）: 不均一データを用いた非凸複合フェデレーション学習
Authors: Jiaojiao Zhang, Jiang Hu, Mikael Johansson,
Abstract要約: 本稿では,サーバとクライアント間の通信を両立させる非線形合成学習のための革新的なアルゴリズムを提案する。合成データセットと実データセットの両方の最先端手法よりもアルゴリズムが優れていることを示す。
参考スコア（独自算出の注目度）: 10.14896454396227
License:
Abstract: We propose an innovative algorithm for non-convex composite federated learning that decouples the proximal operator evaluation and the communication between server and clients. Moreover, each client uses local updates to communicate less frequently with the server, sends only a single d-dimensional vector per communication round, and overcomes issues with client drift. In the analysis, challenges arise from the use of decoupling strategies and local updates in the algorithm, as well as from the non-convex and non-smooth nature of the problem. We establish sublinear and linear convergence to a bounded residual error under general non-convexity and the proximal Polyak-Lojasiewicz inequality, respectively. In the numerical experiments, we demonstrate the superiority of our algorithm over state-of-the-art methods on both synthetic and real datasets.
Abstract（参考訳）: 本稿では,サーバとクライアント間の近位演算子評価と通信を分離する,非凸複合フェデレーション学習のための革新的なアルゴリズムを提案する。さらに、各クライアントはローカル更新を使用してサーバとの通信頻度を低くし、通信ラウンド毎に1つのd-Dベクターしか送信せず、クライアントのドリフトの問題に対処する。この分析では、解答戦略とアルゴリズムの局所的な更新、および問題の非凸性および非滑らか性から問題が発生する。一般の非凸性の下での有界残差に対する部分線型および線型収束と、近位ポリアック・ロジャシエヴィチ不等式をそれぞれ確立する。数値実験では, 合成データセットと実データセットの両方における最先端手法よりも, アルゴリズムの優位性を実証した。

関連論文リスト

Non-Convex Optimization in Federated Learning via Variance Reduction and Adaptive Learning [13.83895180419626]
本稿では,不均一なデータ間の非エポジロン設定に適応学習を用いたモーメントに基づく分散低減手法を提案する。異種データによる学習率調整から,分散に関する課題を克服し,効率を損なうとともに,収束の遅さを抑えることを目的としている。
論文参考訳（メタデータ） (2024-12-16T11:02:38Z)
Composite federated learning with heterogeneous data [11.40641907024708]
本稿では,複合フェデレート学習(FL)問題を解くための新しいアルゴリズムを提案する。このアルゴリズムは、近似演算子と通信を戦略的に分離することで非滑らかな正規化を管理し、データ類似性に関する仮定なしにクライアントのドリフトに対処する。提案アルゴリズムは最適解の近傍に線形に収束し,数値実験における最先端手法よりもアルゴリズムの優位性を示す。
論文参考訳（メタデータ） (2023-09-04T20:22:57Z)
Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-04-24T02:19:39Z)
Personalized Decentralized Multi-Task Learning Over Dynamic Communication Graphs [59.96266198512243]
本稿では,正と負の相関関係を持つタスクに対する分散・フェデレーション学習アルゴリズムを提案する。本アルゴリズムでは,タスク間の相関関係を自動的に計算し,コミュニケーショングラフを動的に調整して相互に有益なタスクを接続し,互いに悪影響を及ぼす可能性のあるタスクを分離する。合成ガウスデータセットと大規模セレブ属性(CelebA)データセットについて実験を行った。
論文参考訳（メタデータ） (2022-12-21T18:58:24Z)
FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文参考訳（メタデータ） (2022-05-19T03:32:03Z)
Resource-constrained Federated Edge Learning with Heterogeneous Data: Formulation and Analysis [8.863089484787835]
ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。 FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
論文参考訳（メタデータ） (2021-10-14T17:35:24Z)
FedChain: Chained Algorithms for Near-Optimal Communication Cost in Federated Learning [24.812767482563878]
フェデレートラーニング(FL)は、多くのクライアントに分散した異種データ上でモデルをトレーニングする際のコミュニケーションの複雑さを最小限にすることを目的としている。本稿では,局所的手法と大域的手法の強みを組み合わせたアルゴリズムフレームワークであるFedChainを提案する。
論文参考訳（メタデータ） (2021-08-16T02:57:06Z)
Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文参考訳（メタデータ） (2021-02-14T05:36:25Z)
Federated Learning with Compression: Unified Analysis and Sharp Guarantees [39.092596142018195]
通信コストは、数百万のデバイスからモデルを学ぶために分散最適化アルゴリズムをスケールアップする上で、重要なボトルネックとなることが多い。フェデレーション圧縮と計算の通信オーバーヘッドに対処する2つの顕著な傾向は、信頼できない圧縮と不均一な通信である。等質データと異質データの両方における収束度を解析する。
論文参考訳（メタデータ） (2020-07-02T14:44:07Z)
Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2020-05-05T18:08:23Z)
A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文参考訳（メタデータ） (2020-03-18T05:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。