論文の概要: Taming Preconditioner Drift: Unlocking the Potential of Second-Order Optimizers for Federated Learning on Non-IID Data
- arxiv url: http://arxiv.org/abs/2602.19271v1
- Date: Sun, 22 Feb 2026 16:57:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-24 17:42:02.5581
- Title: Taming Preconditioner Drift: Unlocking the Potential of Second-Order Optimizers for Federated Learning on Non-IID Data
- Title（参考訳）: タミングプレコンディショナードリフト:非IIDデータにおけるフェデレーション学習のための2次最適化の可能性の解き放つ
- Authors: Junkang Liu, Fanhua Shang, Hongying Liu, Jin Liu, Weixin An, Yuanyuan Liu,
- Abstract要約: textttFedPACは、視力と言語タスク間の安定性と精度を一貫して改善し、最大5.8%のViTの絶対精度向上を実現している。
- 参考スコア（独自算出の注目度）: 29.816483191495692
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Second-order optimizers can significantly accelerate large-scale training, yet their naive federated variants are often unstable or even diverge on non-IID data. We show that a key culprit is \emph{preconditioner drift}: client-side second-order training induces heterogeneous \emph{curvature-defined geometries} (i.e., preconditioner coordinate systems), and server-side model averaging updates computed under incompatible metrics, corrupting the global descent direction. To address this geometric mismatch, we propose \texttt{FedPAC}, a \emph{preconditioner alignment and correction} framework for reliable federated second-order optimization. \texttt{FedPAC} explicitly decouples parameter aggregation from geometry synchronization by: (i) \textbf{Alignment} (i.e.,aggregating local preconditioners into a global reference and warm-starting clients via global preconditioner); and (ii) \textbf{Correction} (i.e., steering local preconditioned updates using a global preconditioned direction to suppress long-term drift). We provide drift-coupled non-convex convergence guarantees with linear speedup under partial participation. Empirically, \texttt{FedPAC} consistently improves stability and accuracy across vision and language tasks, achieving up to $5.8\%$ absolute accuracy gain on CIFAR-100 with ViTs. Code is available at https://anonymous.4open.science/r/FedPAC-8B24.
- Abstract（参考訳）: 2階のオプティマイザは大規模なトレーニングを著しく加速するが、その単純なフェデレーションの変種はしばしば不安定であり、非IIDデータに分散する。
クライアント側2次トレーニングは不均一な \emph{curvature-defined geometries} (プレコンディショナー座標系) を誘導し、サーバ側モデルが非互換なメトリクスで計算された更新を平均化し、グローバルな降下方向を乱す。
この幾何学的ミスマッチに対処するために、信頼度の高いフェデレート2階最適化のための 'texttt{FedPAC}, a \emph{preconditioner alignment and correct} framework を提案する。
\texttt{FedPAC} は、パラメータアグリゲーションを幾何同期から明示的に切り離す。
i) \textbf{Alignment} (すなわち、ローカルプレコンディショナーをグローバルリファレンスに集約し、グローバルプレコンディショナーを介してウォームスタートするクライアント)
(ii) \textbf{Correction} (長期のドリフトを抑制するために、グローバルプレコンディショニングされた方向を使用してローカルプレコンディショニングされた更新を操る)。
ドリフト結合した非凸収束保証を, 部分的参加下での線形スピードアップで提供する。
経験的に、 \texttt{FedPAC} は、視力と言語タスク間の安定性と精度を一貫して改善し、最大5.8 %の絶対精度を ViT で CIFAR-100 上で達成する。
コードはhttps://anonymous.4open.science/r/FedPAC-8B24で公開されている。
関連論文リスト
- Parallel Decoder Transformer: Model-Internal Parallel Decoding with Speculative Invariance via Note Conditioning [0.0]
textbfParallel Decoder Transformer (PDT)は,凍結事前学習モデルの推論プロセスに直接調整プリミティブを埋め込むパラメータ効率の高いアーキテクチャである。
PDTは効果的な自己補正を達成し、カバレッジ予測の精度は textbf77.8% に達し、トランク重量を変更することなく近似シリアルセマンティクスを復元する。
論文 参考訳（メタデータ） (2025-12-10T20:19:10Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。
我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
論文 参考訳（メタデータ） (2025-05-29T19:59:18Z) - AdaFisher: Adaptive Second Order Optimization via Fisher Information [22.851200800265914]
第一次最適化法は、現在、深層ニューラルネットワーク(DNN)のトレーニングにおいて主流となっている。Adamのような企業は、トレーニング中に勾配の行列プレコンディショニングを利用することで、限られた曲率情報を取り入れている。
広範に使われている2階最適化アルゴリズムは、AdamやSGDのような一階最適化アルゴリズムよりも優れた収束特性を示す。
本稿では,適応勾配プレコンディショニングのためのフィッシャー情報行列の角角ブロッククロネッカー近似を利用する適応二階法であるEmphAdaFisherを提案する。
論文 参考訳（メタデータ） (2024-05-26T01:25:02Z) - Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [1.9766522384767224]
underlineAsynchunderlineRonous underlineExact underlineAveraging (textscAREA)
textscAREAは勾配推定よりもモデル残差を通信し、勾配反転への露出を減らす。
最初は、最低または最大ではなく、平均的なクライアント更新頻度でスケールするレートを取得しました。
論文 参考訳（メタデータ） (2024-05-16T14:22:49Z) - Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be
Consistent [97.64313409741614]
本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。
CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
論文 参考訳（メタデータ） (2023-02-17T18:45:04Z) - Disentangled Federated Learning for Tackling Attributes Skew via
Invariant Aggregation and Diversity Transferring [104.19414150171472]
属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。
本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。
実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
論文 参考訳（メタデータ） (2022-06-14T13:12:12Z) - Higher Performance Visual Tracking with Dual-Modal Localization [106.91097443275035]
Visual Object Tracking (VOT)は、堅牢性と正確性の両方に同期性を必要とする。
ONRによるロバストなローカリゼーション抑制器とOFCによるターゲットセンターへの正確なローカリゼーションにより、ターゲットローカリゼーションのためのデュアルモーダルフレームワークを提案します。
論文 参考訳（メタデータ） (2021-03-18T08:47:56Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳（メタデータ） (2020-12-07T21:05:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。