論文の概要: Theoretical Foundations of Communication-Efficient, Robust, and Practical Distributed and Federated Optimization
- arxiv url: http://arxiv.org/abs/2608.06563v1
- Date: Thu, 06 Aug 2026 20:20:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.282596
- Title: Theoretical Foundations of Communication-Efficient, Robust, and Practical Distributed and Federated Optimization
- Title（参考訳）: コミュニケーション効率・ロバスト・実践的分散・フェデレーション最適化の理論基礎
- Abstract要約: この論文は理論と実践の交点における7つの課題に対処する。
まず、ProxSkipを導入し、局所的な勾配ステップが通信を加速できることを示す。
第3に,ローカル更新の近傍誤差を解消する可変還元型 ProxSkip を開発した。
- 参考スコア（独自算出の注目度）: 9.054156002180028
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning and optimization have advanced together, with practical demands motivating new theory and theoretical breakthroughs enabling new applications. Modern large-scale training relies on classical optimization principles, but the constraints of distributed systems require these foundations to be reconsidered. This thesis addresses seven challenges at the intersection of theory and practice, focusing on key bottlenecks in federated learning and distributed optimization. First, we introduce ProxSkip and prove that local gradient steps can accelerate communication, providing a theoretical foundation for this widely used heuristic. Second, we develop Variance Reduced ProxSkip, which eliminates the neighborhood error of stochastic local updates while balancing communication and local computation. Third, we show that local steps retain their communication acceleration under partial client participation. Fourth, we prove that server-side stepsizes and sampling without replacement improve convergence in heterogeneous settings. Fifth, for Random Reshuffling, we demonstrate that compressing gradient differences rather than gradients yields better theoretical and practical performance. Sixth, we establish that Byzantine robustness and partial participation can be achieved simultaneously using gradient-difference clipping. Finally, we develop the first theoretical framework for low-rank adaptation based on randomized asymmetric chains, providing new insights into fine-tuning large models. Across these contributions, we introduce novel algorithmic frameworks, establish sharp guarantees under realistic assumptions, and support the theory with numerical experiments.
- Abstract（参考訳）: 機械学習と最適化は共に進歩し、新しい理論と理論的なブレークスルーを動機付け、新しい応用を可能にしている。
現代の大規模トレーニングは古典的な最適化原則に依存しているが、分散システムの制約はこれらの基礎を再考する必要がある。
この論文は、フェデレートラーニングと分散最適化における主要なボトルネックに焦点を当て、理論と実践の交差における7つの課題に対処する。
まず、ProxSkipを導入し、局所的な勾配ステップが通信を加速できることを証明し、この広く使われているヒューリスティックの理論的基盤を提供する。
第2に,通信と局所計算のバランスを保ちながら,確率的局所更新の近傍誤差を解消する分散還元型 ProxSkip を開発した。
第3に、局所的なステップが、部分的なクライアント参加下での通信加速を維持することを示す。
第4に、サーバ側のステップ化とサンプリングが、異種環境における収束性を改善することを証明する。
第5に、ランダムリシャッフルでは、勾配よりも勾配の圧縮がより理論的、実用的な性能をもたらすことを示す。
第6に,勾配差クリッピングを用いてビザンチンの頑健性と部分的参加を同時に達成できることを確かめる。
最後に、ランダム化された非対称鎖に基づく低ランク適応のための最初の理論的枠組みを開発し、微調整された大型モデルに対する新たな洞察を提供する。
これらの貢献の中で、我々は、新しいアルゴリズムフレームワークを導入し、現実的な仮定の下で鋭い保証を確立し、数値実験で理論を支持する。
関連論文リスト
- OptProver: Bridging Olympiad and Optimization through Continual Training in Formal Theorem Proving [11.603331256500033]
正式なオリンピアド級数学の最近の進歩は、大半が単純ドメイン領域を残している。
本稿では,証明手順の検証を行うためのメカニズムを取り入れた特殊パーリティ重み付き最適化を導入する。
このベンチマークでは、最先端のドメイン知識を実証することで、ステート・オブ・ワンかつ比較可能な大きさのドメインが達成される。
論文 参考訳（メタデータ） (2026-04-26T13:54:28Z) - Evolution of Optimization Methods: Algorithms, Scenarios, and Evaluations [98.44542103979735]
勾配勾配降下法(SGD)とアダム(Adam)による1次勾配勾配降下法は、現代の訓練パイプラインの基礎となる。
大規模モデルトレーニング、厳格なプライバシ要件、分散学習パラダイムは、プライバシ保護とメモリ効率に関する従来のアプローチにおける重要な制限を明らかにする。
深層学習最適化アルゴリズムの進化軌道を振り返って分析し、様々なモデルアーキテクチャやトレーニングシナリオの主流を包括的に評価する。
我々は、重要な新興トレンドと基本設計のトレードオフを抽出し、将来の研究の有望な方向性を示唆する。
論文 参考訳（メタデータ） (2026-04-14T17:01:36Z) - Deep Unfolding: Recent Developments, Theory, and Design Guidelines [99.63555420898554]
この記事では、最適化アルゴリズムを構造化されたトレーニング可能なMLアーキテクチャに変換するフレームワークであるDeep Unfoldingのチュートリアルスタイルの概要を提供する。
推論と学習のための最適化の基礎を概観し、深層展開のための4つの代表的な設計パラダイムを導入し、その反復的な性質から生じる特有なトレーニングスキームについて議論する。
論文 参考訳（メタデータ） (2025-12-03T13:16:35Z) - OBLR-PO: A Theoretical Framework for Stable Reinforcement Learning [12.77713716713937]
一般的な政策次数推定器の統計特性を特徴付ける統一理論フレームワークを提供する。
勾配の信号対雑音比(SNR)によって制御される適応的な学習率スケジュールを導出する。
さらに、分散-最適基底線が勾配重み付き推定器であることを示し、分散還元の新しい原理を提供する。
論文 参考訳（メタデータ） (2025-11-28T16:09:28Z) - Distributed optimization: designed for federated learning [6.642087364775619]
Federated Learning(FL)は、プライバシ保護制約の下で分散コラボレーション機械学習フレームワークである。
本稿では,拡張ラグランジアン手法に基づく分散最適化アルゴリズムのクラスを提案する。
数値実験により,提案アルゴリズムは大規模設定において高い性能を示すことが示された。
論文 参考訳（メタデータ） (2025-08-12T03:39:07Z) - Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。
そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
論文 参考訳（メタデータ） (2025-06-15T05:42:29Z) - GRAWA: Gradient-based Weighted Averaging for Distributed Training of
Deep Learning Models [9.377424534371727]
時間制約環境における深層モデルの分散トレーニングについて検討する。
本稿では,労働者の平均値として計算された中心変数に対して,労働者を定期的に引き出すアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-07T04:22:34Z) - Iterative Preference Learning from Human Feedback: Bridging Theory and Practice for RLHF under KL-Constraint [56.74058752955209]
本稿では,RLHFによる強化学習を用いた生成モデルのアライメント過程について検討する。
まず、オフラインPPOやオフラインDPOのような既存の一般的な手法の主な課題を、環境の戦略的探索に欠如していると認識する。
有限サンプル理論保証を用いた効率的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-12-18T18:58:42Z) - On the Communication Complexity of Decentralized Bilevel Optimization [40.45379954138305]
本稿では,更新戦略の同時および交互化に基づく2つの新しい分散二段階勾配勾配アルゴリズムを提案する。
我々のアルゴリズムは既存の手法よりも高速な収束率と通信コストを抑えることができる。
このような理論的な結果は、不均一な環境での軽微な仮定で達成されたのはこれが初めてである。
論文 参考訳（メタデータ） (2023-11-19T14:56:26Z) - Networked Communication for Decentralised Agents in Mean-Field Games [59.01527054553122]
平均フィールドゲームフレームワークにネットワーク通信を導入する。
当社のアーキテクチャは、中央集権型と独立した学習ケースの双方で保証されていることを証明しています。
ネットワーク化されたアプローチは、障害の更新や人口規模の変化に対する堅牢性という点において、両方の選択肢に対して大きなメリットがあることが示されています。
論文 参考訳（メタデータ） (2023-06-05T10:45:39Z) - Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。
近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。
本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
論文 参考訳（メタデータ） (2022-07-14T22:46:43Z) - On the Convergence of Distributed Stochastic Bilevel Optimization
Algorithms over a Network [55.56019538079826]
バイレベル最適化は、幅広い機械学習モデルに適用されている。
既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。
そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-06-30T05:29:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。