論文の概要: FedPM: Federated Learning Using Second-order Optimization with Preconditioned Mixing of Local Parameters

• arxiv url: http://arxiv.org/abs/2511.09100v1
• Date: Thu, 13 Nov 2025 01:31:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 22:34:54.40932
• Title: FedPM: Federated Learning Using Second-order Optimization with Preconditioned Mixing of Local Parameters
• Title（参考訳）: FedPM: 局所パラメータの事前混合による2次最適化を用いたフェデレーションラーニング
• Authors: Hiro Ishii, Kenta Niwa, Hiroshi Sawada, Akinori Fujino, Noboru Harada, Rio Yokota,
• Abstract要約: Federated Preconditioned Mixing (FedPM) は、二階最適化を利用する新しいFederated Learning (FL) 手法である。 当社のFedPMでは,サーバ上でのローカルパラメータの事前条件混合を導入し,ローカルプレコンディショナーのドリフトを効果的に軽減する。 その結果, 簡易混合法と比較すると, 試験精度はFedPMで有意に向上した。
• 参考スコア（独自算出の注目度）: 24.28609109854982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Federated Preconditioned Mixing (FedPM), a novel Federated Learning (FL) method that leverages second-order optimization. Prior methods--such as LocalNewton, LTDA, and FedSophia--have incorporated second-order optimization in FL by performing iterative local updates on clients and applying simple mixing of local parameters on the server. However, these methods often suffer from drift in local preconditioners, which significantly disrupts the convergence of parameter training, particularly in heterogeneous data settings. To overcome this issue, we refine the update rules by decomposing the ideal second-order update--computed using globally preconditioned global gradients--into parameter mixing on the server and local parameter updates on clients. As a result, our FedPM introduces preconditioned mixing of local parameters on the server, effectively mitigating drift in local preconditioners. We provide a theoretical convergence analysis demonstrating a superlinear rate for strongly convex objectives in scenarios involving a single local update. To demonstrate the practical benefits of FedPM, we conducted extensive experiments. The results showed significant improvements with FedPM in the test accuracy compared to conventional methods incorporating simple mixing, fully leveraging the potential of second-order optimization.
• Abstract（参考訳）: フェデレート・プレコンディショニング(FedPM)は,2次最適化を利用した新しいフェデレーション・ラーニング(FL)手法である。 LocalNewton、LTDA、FedSophiaといった以前の手法は、クライアント上で反復的なローカル更新を実行し、サーバ上でローカルパラメータの単純な混合を適用することで、FLに2階最適化を組み込んだ。 しかし、これらの手法はしばしば局所的なプレコンディショナーのドリフトに悩まされ、特に不均一なデータ設定においてパラメータトレーニングの収束を著しく阻害する。 この問題を克服するために,サーバ上のパラメータの混合やクライアントのローカルパラメータの更新といった,グローバルな条件付きグローバル勾配を用いた理想的な2次更新計算を分解することで,更新ルールを洗練する。 その結果、FedPMでは、サーバ上のローカルパラメータのプレコンディション混合を導入し、ローカルプレコンディショナーのドリフトを効果的に軽減する。 局所的な1回の更新を含むシナリオにおいて、強い凸目標に対する超線形速度を示す理論的収束解析を提供する。 FedPMの実用的メリットを実証するため,我々は広範囲な実験を行った。 その結果,2次最適化の可能性を完全に活用した簡易混合法に比べ,FedPMの精度は有意に向上した。

関連論文リスト

• FedMuon: Accelerating Federated Learning with Matrix Orthogonalization [27.47081354557656]
  フェデレートラーニング(FL)の中核的なボトルネックは、コミュニケーションラウンドにあります。 既存のFL法は主に元素の局所性(Adam/SGD)を用いており、重量行列の幾何学的構造を無視している。 本稿では,2つの重要な手法を取り入れた新しいフェデレート・ムーン(FedMuon)を提案する。
  論文  参考訳（メタデータ） (2025-10-31T11:41:16Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Efficient Federated Learning via Local Adaptive Amended Optimizer with Linear Speedup [90.26270347459915]
  そこで我々は,グローバル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アルゴリズムを提案する。 textitLADAは通信ラウンドを大幅に削減し、複数のベースラインよりも高い精度を実現する。
  論文  参考訳（メタデータ） (2023-07-30T14:53:21Z)
• FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
  フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。 これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。 本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
  論文  参考訳（メタデータ） (2023-02-21T03:55:29Z)
• On Second-order Optimization Methods for Federated Learning [59.787198516188425]
  フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。 本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
  論文  参考訳（メタデータ） (2021-09-06T12:04:08Z)
• Local Adaptivity in Federated Learning: Convergence and Consistency [25.293584783673413]
  フェデレートラーニング(FL)フレームワークは、局所的に訓練されたモデルを定期的に集約することで、エッジクライアントデバイスに格納された分散データを使用して機械学習モデルをトレーニングする。 局所適応法は収束を加速できるが, 解バイアスを生じさせる可能性があることを示す。 本稿では,この不整合を克服し,FLの局所適応手法を補完する補正手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T07:36:59Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。