Fugu-MT 論文翻訳(概要): Adaptive Stochastic Optimization

論文の概要: Adaptive Stochastic Optimization

arxiv url: http://arxiv.org/abs/2001.06699v1
Date: Sat, 18 Jan 2020 16:30:19 GMT
ステータス: 処理完了
システム内更新日: 2023-01-10 05:01:30.551351
Title: Adaptive Stochastic Optimization
Title（参考訳）: 適応確率最適化
Authors: Frank E. Curtis and Katya Scheinberg
Abstract要約: 適応最適化手法は、大規模システムの訓練に際し、計算量を大幅に削減する可能性がある。勾配法に基づく現代的なアプローチは、それぞれのアプリケーションに調整が必要な所定のパラメータ値を採用するという意味では適応的ではない。
参考スコア（独自算出の注目度）: 1.7945141391585486
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Optimization lies at the heart of machine learning and signal processing. Contemporary approaches based on the stochastic gradient method are non-adaptive in the sense that their implementation employs prescribed parameter values that need to be tuned for each application. This article summarizes recent research and motivates future work on adaptive stochastic optimization methods, which have the potential to offer significant computational savings when training large-scale systems.
Abstract（参考訳）: 最適化は機械学習と信号処理の中心にある。確率勾配法に基づく現代的アプローチは、それぞれのアプリケーションに調整が必要な所定のパラメータ値を採用するという意味では適応的ではない。本稿では, 大規模システムの学習において, 計算量を大幅に削減する可能性を持つ適応確率最適化法に関する最近の研究を要約し, 今後の研究を動機づける。

関連論文リスト

End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文参考訳（メタデータ） (2024-02-12T16:33:35Z)
Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-04T01:47:37Z)
Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size [29.15132344744801]
本研究では,行列逆変換などの問題に対して,適応的なステップサイズを持つ勾配勾配の局所収束性を確立する。これらの一階最適化法は線形あるいは線形収束を実現することができることを示す。
論文参考訳（メタデータ） (2021-12-30T00:50:30Z)
Stochastic Learning Rate Optimization in the Stochastic Approximation and Online Learning Settings [0.0]
本研究では、最適化アルゴリズムの学習率に乗法性を適用し、学習速度スキームを創出する。本研究では,この学習率スキームを備えたグラディエントDescentの理論的収束結果を示す。
論文参考訳（メタデータ） (2021-10-20T18:10:03Z)
A theoretical and empirical study of new adaptive algorithms with additional momentum steps and shifted updates for stochastic non-convex optimization [0.0]
適応最適化アルゴリズムは学習分野の鍵となる柱を表現していると考えられる。本稿では,異なる非滑らかな目的問題に対する適応運動量法を提案する。
論文参考訳（メタデータ） (2021-10-16T09:47:57Z)
Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文参考訳（メタデータ） (2021-07-02T16:21:52Z)
SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
論文参考訳（メタデータ） (2021-06-15T15:16:28Z)
Learning Stochastic Optimal Policies via Gradient Descent [17.9807134122734]
学習に基づく最適制御処理(SOC)を体系的に開発する。本稿では, 微分方程式に対する随伴感度の導出について, 変分計算の直接適用により提案する。本稿では,比例トランザクションコストを伴う連続時間有限地平線ポートフォリオ最適化における提案手法の有効性を検証する。
論文参考訳（メタデータ） (2021-06-07T16:43:07Z)
Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文参考訳（メタデータ） (2020-09-01T19:12:11Z)
NOVAS: Non-convex Optimization via Adaptive Stochastic Search for End-to-End Learning and Control [22.120942106939122]
本稿では,一般のニューラルネットワーク最適化操作において,適応探索をビルディングブロックとして用いることを提案する。我々は、合成エネルギーベースの構造化タスクにおける既存の2つの代替案に対してベンチマークを行い、最適制御アプリケーションでの使用例を示す。
論文参考訳（メタデータ） (2020-06-22T03:40:36Z)
Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文参考訳（メタデータ） (2020-04-14T07:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。