論文の概要: A Split-Client Approach to Second-Order Optimization
- arxiv url: http://arxiv.org/abs/2510.15714v1
- Date: Fri, 17 Oct 2025 14:58:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-20 20:17:34.66491
- Title: A Split-Client Approach to Second-Order Optimization
- Title（参考訳）: 2次最適化のためのスプリットクライアントアプローチ
- Authors: El Mahdi Chayti, Martin Jaggi,
- Abstract要約: 二階法は収束の速さを約束するが、ヘッセンの計算は勾配よりもはるかに高価であるため、実際にはほとんど使われない。
本稿では,異なるクライアントによって勾配と曲率を非同期に計算するEmphsplit-clientフレームワークを提案する。
非同期曲率は常にバニラとラジ・ヘッセンのベースラインを上回り、二階精度を維持している。
- 参考スコア（独自算出の注目度）: 43.7624716532625
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Second-order methods promise faster convergence but are rarely used in practice because Hessian computations and decompositions are far more expensive than gradients. We propose a \emph{split-client} framework where gradients and curvature are computed asynchronously by separate clients. This abstraction captures realistic delays and inexact Hessian updates while avoiding the manual tuning required by Lazy Hessian methods. Focusing on cubic regularization, we show that our approach retains strong convergence guarantees and achieves a provable wall-clock speedup of order $\sqrt{\tau}$, where $\tau$ is the relative time needed to compute and decompose the Hessian compared to a gradient step. Since $\tau$ can be orders of magnitude larger than one in high-dimensional problems, this improvement is practically significant. Experiments on synthetic and real datasets confirm the theory: asynchronous curvature consistently outperforms vanilla and Lazy Hessian baselines, while maintaining second-order accuracy.
- Abstract（参考訳）: 二階法は収束の速さを約束するが、ヘッセンの計算や分解は勾配よりもはるかに高価であるため、実際にはほとんど使われない。
本稿では,勾配と曲率を別クライアントで非同期に計算する「emph{split-client}」フレームワークを提案する。
この抽象化は、Lazy Hessianメソッドが必要とする手動チューニングを避けながら、現実的な遅延と不正確なHessian更新をキャプチャする。
立方正則化に焦点をあてると、我々の手法は強い収束保証を保ち、次数$\sqrt{\tau}$の証明可能なウォールクロックスピードアップを達成する。
$\tau$ は高次元問題において 1 よりも桁違いに大きいので、この改善は事実上重要である。
非同期曲率は常にバニラとラジ・ヘッセンのベースラインを上回り、二階精度を維持している。
関連論文リスト
- Improving Online-to-Nonconvex Conversion for Smooth Optimization via Double Optimism [25.642618010943824]
本稿では,2倍の楽観的ヒント関数に基づくオンラインの楽観的勾配法を提案する。
我々は1.75 + sigma2 varepsilon-3.5)$で統一されたアルゴリズムを得る。
論文 参考訳（メタデータ） (2025-10-03T16:41:24Z) - Nesterov Method for Asynchronous Pipeline Parallel Optimization [59.79227116582264]
パイプライン並列処理における非同期最適化のために,Nesterov Accelerated Gradient (NAG) の変種を導入する。
具体的には、NAGのルックアヘッドステップを変更して、勾配の安定性を効果的に解決する。
我々は、勾配の固定遅延の存在下で、我々のアプローチがサブ線形速度で収束することを理論的に証明する。
論文 参考訳（メタデータ） (2025-05-02T08:23:29Z) - Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [1.9766522384767224]
underlineAsynchunderlineRonous underlineExact underlineAveraging (textscAREA)
textscAREAは勾配推定よりもモデル残差を通信し、勾配反転への露出を減らす。
最初は、最低または最大ではなく、平均的なクライアント更新頻度でスケールするレートを取得しました。
論文 参考訳（メタデータ） (2024-05-16T14:22:49Z) - Second-order optimization with lazy Hessians [55.51077907483634]
一般の非線形最適化問題を解くためにニュートンの遅延ヘッセン更新を解析する。
我々は、メソッドの各ステップで新しい勾配を計算しながら、これまで見られたヘッセン反復を再利用する。
論文 参考訳（メタデータ） (2022-12-01T18:58:26Z) - DADAO: Decoupled Accelerated Decentralized Asynchronous Optimization [0.0]
DADAOは、L$-smooth と $mu$-strongly convex 関数の和を最小化する最初の分散化、高速化、非同期化、プライマリ化、一階述語アルゴリズムである。
我々のアルゴリズムは、$mathcalO(nsqrtchisqrtfracLmulog(frac1epsilon)$ localと$mathcalO(nsqrtchisqrtfracLmulog()のみを必要とすることを示す。
論文 参考訳（メタデータ） (2022-07-26T08:47:54Z) - Sharper Convergence Guarantees for Asynchronous SGD for Distributed and
Federated Learning [77.22019100456595]
通信周波数の異なる分散計算作業者のトレーニングアルゴリズムを示す。
本研究では,より厳密な収束率を$mathcalO!!(sigma2-2_avg!)とする。
また,不均一性の項は,作業者の平均遅延によっても影響されることを示した。
論文 参考訳（メタデータ） (2022-06-16T17:10:57Z) - Asynchronous Stochastic Optimization Robust to Arbitrary Delays [54.61797739710608]
遅延勾配の最適化を考えると、ステップt$毎に、アルゴリズムは古い計算を使って更新する - d_t$ for arbitrary delay $d_t gradient。
本実験は,遅延分布が歪んだり重くなったりした場合のアルゴリズムの有効性とロバスト性を示す。
論文 参考訳（メタデータ） (2021-06-22T15:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。