Fugu-MT 論文翻訳(概要): Adaptive First- and Second-Order Algorithms for Large-Scale Machine Learning

論文の概要: Adaptive First- and Second-Order Algorithms for Large-Scale Machine Learning

arxiv url: http://arxiv.org/abs/2111.14761v1
Date: Mon, 29 Nov 2021 18:10:00 GMT
ステータス: 処理完了
システム内更新日: 2021-11-30 20:13:43.081167
Title: Adaptive First- and Second-Order Algorithms for Large-Scale Machine Learning
Title（参考訳）: 大規模機械学習のための適応1次および2次アルゴリズム
Authors: Sanae Lotfi, Tiphaine Bonniot de Ruisselet, Dominique Orban, Andrea Lodi
Abstract要約: 機械学習における連続最適化問題に対処する一階法と二階法を考察する。一階述語の場合、半決定論的から二次正規化への遷移の枠組みを提案する。本稿では,適応的なサンプリングと適応的なステップサイズを持つ新しい1次アルゴリズムを提案する。
参考スコア（独自算出の注目度）: 3.0204520109309843
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: In this paper, we consider both first- and second-order techniques to address continuous optimization problems arising in machine learning. In the first-order case, we propose a framework of transition from deterministic or semi-deterministic to stochastic quadratic regularization methods. We leverage the two-phase nature of stochastic optimization to propose a novel first-order algorithm with adaptive sampling and adaptive step size. In the second-order case, we propose a novel stochastic damped L-BFGS method that improves on previous algorithms in the highly nonconvex context of deep learning. Both algorithms are evaluated on well-known deep learning datasets and exhibit promising performance.
Abstract（参考訳）: 本稿では,機械学習における連続最適化問題に対する一階法と二階法の両方について考察する。一階の場合、決定論的あるいは半決定論的から確率的二次正規化法への遷移の枠組みを提案する。確率最適化の2相性を利用して適応サンプリングと適応ステップサイズを備えた新しい一階アルゴリズムを提案する。 2次の場合、深層学習の高度非凸文脈において従来のアルゴリズムを改良した新しい確率的減衰l-bfgs法を提案する。どちらのアルゴリズムも、よく知られたディープラーニングデータセット上で評価され、有望なパフォーマンスを示す。

関連論文リスト

The Stochastic Conjugate Subgradient Algorithm For Kernel Support Vector Machines [1.738375118265695]
本稿では,カーネルサポートベクトルマシン(SVM)に特化して設計された革新的な手法を提案する。イテレーション毎のイテレーションを高速化するだけでなく、従来のSFO技術と比較して収束度も向上する。実験の結果,提案アルゴリズムはSFO法のスケーラビリティを維持できるだけでなく,潜在的に超越していることが示された。
論文参考訳（メタデータ） (2024-07-30T17:03:19Z)
Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
論文参考訳（メタデータ） (2023-07-17T20:11:56Z)
Stochastic Ratios Tracking Algorithm for Large Scale Machine Learning Problems [0.7614628596146599]
古典的なSGDフレームワークにおける適応的なステップ長選択のための新しいアルゴリズムを提案する。妥当な条件下では、アルゴリズムは十分に確立された理論的な要件に従ってステップ長を生成する。このアルゴリズムは,手動チューニングから得られる最良ステップ長に匹敵するステップ長を生成することができることを示す。
論文参考訳（メタデータ） (2023-05-17T06:22:11Z)
Online Learning Under A Separable Stochastic Approximation Framework [20.26530917721778]
分離可能な近似フレームワークを用いて,機械学習モデルのクラスに対するオンライン学習アルゴリズムを提案する。提案アルゴリズムは,他の一般的な学習アルゴリズムと比較して,より堅牢でテスト性能が高いことを示す。
論文参考訳（メタデータ） (2023-05-12T13:53:03Z)
Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
論文参考訳（メタデータ） (2023-02-01T08:50:48Z)
Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
論文参考訳（メタデータ） (2023-01-30T15:46:39Z)
Doubly Adaptive Scaled Algorithm for Machine Learning Using Second-Order Information [37.70729542263343]
本稿では,大規模機械学習問題に対する適応最適化アルゴリズムを提案する。我々の手法は方向とステップサイズを動的に適応させる。我々の手法は退屈なチューニング率チューニングを必要としない。
論文参考訳（メタデータ） (2021-09-11T06:39:50Z)
Zeroth and First Order Stochastic Frank-Wolfe Algorithms for Constrained Optimization [13.170519806372075]
2組の制約を持つ凸最適化の問題は、半定値プログラミングの文脈で頻繁に発生する。最初の制約セットへのプロジェクションは困難であるため、プロジェクションフリーなアルゴリズムを探索する必要がある。提案アルゴリズムの有効性は, スパース行列推定, 半定緩和によるクラスタリング, および一様スペースカット問題の適用性について検証した。
論文参考訳（メタデータ） (2021-07-14T08:01:30Z)
Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文参考訳（メタデータ） (2021-06-08T15:54:44Z)
Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。本研究の結果は, 同時一次および二重側収束の形で表される。
論文参考訳（メタデータ） (2020-08-23T20:36:49Z)
Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。