論文の概要: FedCanon: Non-Convex Composite Federated Learning with Efficient Proximal Operation on Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2504.11903v1
• Date: Wed, 16 Apr 2025 09:28:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:38:07.763476
• Title: FedCanon: Non-Convex Composite Federated Learning with Efficient Proximal Operation on Heterogeneous Data
• Title（参考訳）: FedCanon: 異種データに対する効率的な近位操作による非凸複合フェデレーション学習
• Authors: Yuan Zhou, Jiachen Zhong, Xinli Shi, Guanghui Wen, Xinghuo Yu,
• Abstract要約: 複合学習は、追加の正規化用語で機械学習問題を解決するための一般的なフレームワークを提供する。 我々は非滑らかな正規化問題を解くためにFedCanonアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 17.80715992954134
• License:
• Abstract: Composite federated learning offers a general framework for solving machine learning problems with additional regularization terms. However, many existing methods require clients to perform multiple proximal operations to handle non-smooth terms and their performance are often susceptible to data heterogeneity. To overcome these limitations, we propose a novel composite federated learning algorithm called \textbf{FedCanon}, designed to solve the optimization problems comprising a possibly non-convex loss function and a weakly convex, potentially non-smooth regularization term. By decoupling proximal mappings from local updates, FedCanon requires only a single proximal evaluation on the server per iteration, thereby reducing the overall proximal computation cost. It also introduces control variables that incorporate global gradient information into client updates, which helps mitigate the effects of data heterogeneity. Theoretical analysis demonstrates that FedCanon achieves sublinear convergence rates under general non-convex settings and linear convergence under the Polyak-{\L}ojasiewicz condition, without relying on bounded heterogeneity assumptions. Experiments demonstrate that FedCanon outperforms the state-of-the-art methods in terms of both accuracy and computational efficiency, particularly under heterogeneous data distributions.
• Abstract（参考訳）: 複合連合学習は、追加の正規化用語で機械学習問題を解決するための一般的なフレームワークを提供する。 しかし、多くの既存手法では、クライアントが非滑らかな項を扱うために複数の近似演算を実行する必要があり、その性能はデータの不均一性に影響を受けやすいことが多い。 これらの制約を克服するために,非凸損失関数と弱凸,非滑らかな正規化項を含む最適化問題を解くために,新しい合成学習アルゴリズムである‘textbf{FedCanon} を提案する。 ローカル更新から近位写像を分離することで、FedCanonはイテレーション毎にサーバ上で1つの近位評価しか必要とせず、全体的な近位計算コストを削減できる。 また、クライアント更新にグローバルな勾配情報を含む制御変数を導入し、データの不均一性の影響を軽減する。 理論解析により、FedCanonは一般の非凸条件下での線型収束率と、Polyak-{\L}ojasiewicz条件下での線形収束を、有界な不均一性仮定に頼ることなく達成することを示した。 実験により、FedCanonは精度と計算効率の両方の観点から、特に異種データ分布において、最先端の手法よりも優れていることが示された。

関連論文リスト

• Analysis of regularized federated learning [8.489782750973005]
  フェデレーション学習は、異質なビッグデータとプライバシ保護を扱うための効率的なツールである。 ループ降下は、通信コストを削減するために、ビッグデータの実装においてしばしば使用される。
  論文  参考訳（メタデータ） (2024-11-03T12:47:54Z)
• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Byzantine-resilient Federated Learning Employing Normalized Gradients on Non-IID Datasets [23.640506243685863]
  実践的連合学習(FLNGA)では、悪意のある攻撃やデータ不均一性の存在が学習プロセスにバイアスをもたらすことが多い。 本稿では、アップロードされた局所勾配をアグリゲーションの前に正規化する正規化勾配単位(Fed-M)モデルを提案し、$mathcalO(pM)$を達成した。
  論文  参考訳（メタデータ） (2024-08-18T16:50:39Z)
• Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties [3.269165283595478]
  IoT(Internet-of-Things)の分散センサーは、大量のスパースデータを生成する。 本稿では, 滑らか化機構をそのビューに統合し, 精度と計算速度を両立させる, 結合型滑らか化近位勾配(G)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:50:19Z)
• Byzantine-resilient Federated Learning With Adaptivity to Data Heterogeneity [54.145730036889496]
  本稿では、ビザンツの悪意ある攻撃データの存在下でのグラディエント・ラーニング(FL)を扱う。 Average Algorithm (RAGA) が提案され、ロバストネスアグリゲーションを活用してデータセットを選択することができる。
  論文  参考訳（メタデータ） (2024-03-20T08:15:08Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Federated Minimax Optimization with Client Heterogeneity [11.558008138030845]
  ミニマックス計算は、GANのような先進的な近代的応用に注目が集まっている。 そこで我々は,ローカルSGDAのような設定や既存手法を前提とした汎用のミニマックスフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-08T18:33:55Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Federated Learning with Compression: Unified Analysis and Sharp Guarantees [39.092596142018195]
  通信コストは、数百万のデバイスからモデルを学ぶために分散最適化アルゴリズムをスケールアップする上で、重要なボトルネックとなることが多い。 フェデレーション圧縮と計算の通信オーバーヘッドに対処する2つの顕著な傾向は、信頼できない圧縮と不均一な通信である。 等質データと異質データの両方における収束度を解析する。
  論文  参考訳（メタデータ） (2020-07-02T14:44:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。