論文の概要: Taming the Instability: A Robust Second-Order Optimizer for Federated Learning over Non-IID Data

• arxiv url: http://arxiv.org/abs/2603.28316v1
• Date: Mon, 30 Mar 2026 11:37:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:45.365778
• Title: Taming the Instability: A Robust Second-Order Optimizer for Federated Learning over Non-IID Data
• Title（参考訳）: 不安定性に対処する - 非IIDデータによるフェデレーション学習のためのロバストな2次最適化
• Authors: Yuanqiao Zhang, Tiantian He, Yuan Gao, Yixin Wang, Yew-Soon Ong, Maoguo Gong, A. K. Qin, Hui Li,
• Abstract要約: We present Federated Robust Curvature Optimization (FedRCO), a novel second-order optimization framework designed to improve convergence speed and reduce communication cost。 FedRCOは、効率的な近似曲率と証明可能な安定性メカニズムを統合することで、これらの課題に対処する。 我々は,FedRCOが,最先端の1次法と2次法のどちらよりも高い精度と高速な収束を実現しつつ,多種多様な非IIDシナリオに対して優れたロバスト性を実現することを示す。
• 参考スコア（独自算出の注目度）: 77.19117648492104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present Federated Robust Curvature Optimization (FedRCO), a novel second-order optimization framework designed to improve convergence speed and reduce communication cost in Federated Learning systems under statistical heterogeneity. Existing second-order optimization methods are often computationally expensive and numerically unstable in distributed settings. In contrast, FedRCO addresses these challenges by integrating an efficient approximate curvature optimizer with a provable stability mechanism. Specifically, FedRCO incorporates three key components: (1) a Gradient Anomaly Monitor that detects and mitigates exploding gradients in real-time, (2) a Fail-Safe Resilience protocol that resets optimization states upon numerical instability, and (3) a Curvature-Preserving Adaptive Aggregation strategy that safely integrates global knowledge without erasing the local curvature geometry. Theoretical analysis shows that FedRCO can effectively mitigate instability and prevent unbounded updates while preserving optimization efficiency. Extensive experiments show that FedRCO achieves superior robustness against diverse non-IID scenarios while achieving higher accuracy and faster convergence than both state-of-the-art first-order and second-order methods.
• Abstract（参考訳）: 本稿では,フェデレート・ロバスト曲線最適化(Federated Robust Curvature Optimization, FedRCO)を提案する。 既存の2階最適化手法はしばしば計算コストが高く、分散環境では数値的に不安定である。 対照的にFedRCOは、効率的な近似曲率オプティマイザと証明可能な安定性機構を統合することで、これらの課題に対処している。 具体的には,(1)爆発的勾配をリアルタイムに検出・緩和するグラディエント・異常モニタ,(2)数値不安定時に最適化状態をリセットするフェイルセーフ・レジリエンスプロトコル,(3)局所的な曲率幾何学を消去することなくグローバルな知識を安全に統合する曲率保存適応アグリゲーション戦略の3つの重要な要素を組み込んでいる。 理論的解析によると、FedRCOは、最適化効率を保ちながら、不安定性を効果的に軽減し、無制限更新を防ぐことができる。 大規模な実験により、FedRCOは、最先端の1次法と2次法の両方よりも高い精度と高速な収束を達成しつつ、多様な非IIDシナリオに対して優れた堅牢性を達成することが示された。

関連論文リスト

• DeFRiS: Silo-Cooperative IoT Applications Scheduling via Decentralized Federated Reinforcement Learning [62.347535250646196]
  本稿では、ロバストでスケーラブルなシロコラボ型IoTアプリケーションスケジューリングのための分散フェデレーション強化学習フレームワークであるDeFRiSを提案する。 DeFRiSは、(i)異種サイロ間のシームレスな知識伝達を可能にするための候補資源スコアを利用したアクション空間非依存ポリシー、(ii)汎用アドバンテージ推定とクリッピングされたポリシー更新を組み合わせたサイロ最適化ローカル学習メカニズム、(iii)類似性認識の知識伝達と異常検出に勾配指紋を利用するDual-Track Non-IIDロバストな分散集約プロトコル、の3つのイノベーションを統合する。
  論文  参考訳（メタデータ） (2026-03-16T02:02:38Z)
• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• Rectified Robust Policy Optimization for Model-Uncertain Constrained Reinforcement Learning without Strong Duality [53.525547349715595]
  我々はRectified Robust Policy Optimization (RRPO) と呼ばれる新しいプライマリのみのアルゴリズムを提案する。 RRPOは双対の定式化に頼ることなく、主問題に直接作用する。 我々は、最もよく知られた下界と一致する複雑性を持つ、ほぼ最適な実現可能なポリシーに収束することを示す。
  論文  参考訳（メタデータ） (2025-08-24T16:59:38Z)
• Stochastic Primal-Dual Double Block-Coordinate for Two-way Partial AUC Maximization [45.99743804547533]
  2方向部分AUCAUCは、不均衡なデータを持つバイナリ分類における重要な性能指標である。 TPAUC最適化のための既存のアルゴリズムは未探索のままである。 TPAUC最適化のための2つの革新的な二重座標ブロック座標アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-05-28T03:55:05Z)
• Refining Adaptive Zeroth-Order Optimization at Ease [24.327161891577727]
  本稿では,Refined Adaptive Zeroth-Order Optimization (R-AdaZO)を紹介する。 まず、ZO勾配推定における第1モーメント推定の未解決分散低減効果を示す。 次に、これらの分散誘導勾配推定に基づいて第2モーメント推定を洗練し、最適化ランドスケープの幾何をより正確に把握する。
  論文  参考訳（メタデータ） (2025-02-03T03:10:44Z)
• RECOMBINER: Robust and Enhanced Compression with Bayesian Implicit Neural Representations [8.417694229876371]
  COMBINERは量子化を回避し、レート歪み性能の直接最適化を可能にする。 我々は,COMBINERの限界を克服するために,Robust and Enhanced COMBINER (RECOMBINER)を提案する。 我々は,RECOMBINERがINRベースの最良の手法と競合し,低解像度画像上でのオートエンコーダベースのコーデックよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-29T12:27:15Z)
• Federated Distributionally Robust Optimization with Non-Convex Objectives: Algorithm and Analysis [21.913563167426872]
  Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。 新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。 実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
  論文  参考訳（メタデータ） (2023-07-25T01:56:57Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。