論文の概要: Resource-Adaptive Newton's Method for Distributed Learning

• arxiv url: http://arxiv.org/abs/2308.10154v2
• Date: Fri, 25 Aug 2023 14:48:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-28 16:43:02.464651
• Title: Resource-Adaptive Newton's Method for Distributed Learning
• Title（参考訳）: 分散学習のための資源適応ニュートン法
• Authors: Shuzhen Chen, Yuan Yuan, Youming Tao, Zhipeng Cai and Dongxiao Yu
• Abstract要約: 本稿では,Newtonの手法の限界を克服するRANLというアルゴリズムを提案する。 従来の一階法とは異なり、RANLは問題の条件数から著しく独立している。
• 参考スコア（独自算出の注目度）: 16.588456212160928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed stochastic optimization methods based on Newton's method offer significant advantages over first-order methods by leveraging curvature information for improved performance. However, the practical applicability of Newton's method is hindered in large-scale and heterogeneous learning environments due to challenges such as high computation and communication costs associated with the Hessian matrix, sub-model diversity, staleness in training, and data heterogeneity. To address these challenges, this paper introduces a novel and efficient algorithm called RANL, which overcomes the limitations of Newton's method by employing a simple Hessian initialization and adaptive assignments of training regions. The algorithm demonstrates impressive convergence properties, which are rigorously analyzed under standard assumptions in stochastic optimization. The theoretical analysis establishes that RANL achieves a linear convergence rate while effectively adapting to available resources and maintaining high efficiency. Unlike traditional first-order methods, RANL exhibits remarkable independence from the condition number of the problem and eliminates the need for complex parameter tuning. These advantages make RANL a promising approach for distributed stochastic optimization in practical scenarios.
• Abstract（参考訳）: ニュートン法に基づく分散確率最適化法は、曲率情報を利用して性能を向上させることで一階法よりも大きな利点をもたらす。 しかし, ニュートン法の適用性は, ヘッセン行列に付随する高い計算と通信コスト, サブモデル多様性, トレーニングにおける安定性, データの異質性といった課題により, 大規模かつ異質な学習環境において阻害される。 これらの課題に対処するために,簡単なヘッセン初期化と訓練領域の適応的割り当てを用いて,ニュートンの手法の限界を克服するRANLというアルゴリズムを提案する。 このアルゴリズムは、確率最適化の標準的な仮定の下で厳密に解析される印象的な収束特性を示す。 この理論解析は、RANLが利用可能な資源に効果的に適応し、高い効率を維持しながら線形収束率を達成することを証明している。 従来の一階法とは異なり、ranlは問題の条件数から顕著な独立性を示し、複雑なパラメータチューニングの必要性をなくす。 これらの利点により、ranlは実用的なシナリオにおいて分散確率最適化に有望なアプローチとなる。

関連論文リスト

• Optimization by Parallel Quasi-Quantum Annealing with Gradient-Based Sampling [0.0]
  本研究では、連続緩和による勾配に基づく更新と準量子アナリング(QQA)を組み合わせた別のアプローチを提案する。 数値実験により,本手法はiSCOと学習型解法に匹敵する性能を有する汎用解法であることが示された。
  論文  参考訳（メタデータ） (2024-09-02T12:55:27Z)
• The Stochastic Conjugate Subgradient Algorithm For Kernel Support Vector Machines [1.738375118265695]
  本稿では,カーネルサポートベクトルマシン(SVM)に特化して設計された革新的な手法を提案する。 イテレーション毎のイテレーションを高速化するだけでなく、従来のSFO技術と比較して収束度も向上する。 実験の結果,提案アルゴリズムはSFO法のスケーラビリティを維持できるだけでなく,潜在的に超越していることが示された。
  論文  参考訳（メタデータ） (2024-07-30T17:03:19Z)
• Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
  我々は、高次元一般化線形モデルにおいて、オンライン推論に新しいアプローチを導入する。 本手法はシングルパスモードで動作し,時間と空間の複雑さを著しく低減する。 提案手法は,ADL (Approximated Debiased Lasso) と呼ばれ,有界な個人確率条件の必要性を緩和するだけでなく,数値性能も著しく向上することを示した。
  論文  参考訳（メタデータ） (2024-05-28T15:36:48Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
  本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。 我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。 提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-14T21:54:31Z)
• A Boosting Approach to Reinforcement Learning [59.46285581748018]
  複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。 このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-08-22T16:00:45Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Distributed Second Order Methods with Fast Rates and Compressed Communication [6.069611493148631]
  分散最適化のための通信効率の高い第2次手法を複数開発する。 我々は大域的な部分線型および線形収束率と高速超線形速度を証明した。 結果は実データセットでの実験結果と共にサポートされます。
  論文  参考訳（メタデータ） (2021-02-14T14:06:45Z)
• The Strength of Nesterov's Extrapolation in the Individual Convergence of Nonsmooth Optimization [0.0]
  ネステロフの外挿は、非滑らかな問題に対して勾配降下法の個人収束を最適にする強さを持つことを証明している。 提案手法は,設定の非滑らかな損失を伴って正規化学習タスクを解くためのアルゴリズムの拡張である。 本手法は,大規模な1-正規化ヒンジロス学習問題の解法として有効である。
  論文  参考訳（メタデータ） (2020-06-08T03:35:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。