Fugu-MT 論文翻訳(概要): Accelerated Gradient Flow: Risk, Stability, and Implicit Regularization

論文の概要: Accelerated Gradient Flow: Risk, Stability, and Implicit Regularization

arxiv url: http://arxiv.org/abs/2201.08311v1
Date: Thu, 20 Jan 2022 17:23:43 GMT
ステータス: 処理完了
システム内更新日: 2022-01-21 13:58:49.241833
Title: Accelerated Gradient Flow: Risk, Stability, and Implicit Regularization
Title（参考訳）: 加速勾配流:リスク、安定性、および暗黙の規則化
Authors: Yue Sheng and Alnur Ali
Abstract要約: 本研究では,Nesterovの加速勾配法とPolyakの重ボール法により生じる反復率の統計的リスクについて検討した。分析を連続的に実施することで、以前の作業よりもシャープなステートメントを実現できるのです。
参考スコア（独自算出の注目度）: 8.40147355108175
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Acceleration and momentum are the de facto standard in modern applications of machine learning and optimization, yet the bulk of the work on implicit regularization focuses instead on unaccelerated methods. In this paper, we study the statistical risk of the iterates generated by Nesterov's accelerated gradient method and Polyak's heavy ball method, when applied to least squares regression, drawing several connections to explicit penalization. We carry out our analyses in continuous-time, allowing us to make sharper statements than in prior work, and revealing complex interactions between early stopping, stability, and the curvature of the loss function.
Abstract（参考訳）: アクセラレーションとモーメントは、機械学習と最適化の現代的な応用におけるデファクトスタンダードであるが、暗黙の正規化に関する作業の大部分は、非加速の方法に焦点を当てている。本論文では,Nesterovの加速勾配法とPolyakの重ボール法によって生じる反復率の統計的リスクを,最小二乗回帰に適用し,いくつかの接続を明示的なペナル化に導いた。分析を連続的に行い, 先行研究よりもシャープな文を作成できるとともに, 早期停止, 安定性, 損失関数の曲率との複雑な相互作用を明らかにする。

関連論文リスト

Regularization for Adversarial Robust Learning [18.46110328123008]
我々は,$phi$-divergence正規化を分散ロバストなリスク関数に組み込む,対角訓練のための新しい手法を開発した。この正規化は、元の定式化と比較して計算の顕著な改善をもたらす。本研究では,教師付き学習,強化学習,文脈学習において提案手法の有効性を検証し,様々な攻撃に対して最先端の性能を示す。
論文参考訳（メタデータ） (2024-08-19T03:15:41Z)
Stochastic Gradient Flow Dynamics of Test Risk and its Exact Solution for Weak Features [8.645858565518155]
純勾配の試験リスク曲線と勾配流の差を計算する式を提供する。我々は、動的に加えた項によって引き起こされる補正を明示的に計算する。解析結果は離散時間勾配降下のシミュレーションと比較し,良好な一致を示した。
論文参考訳（メタデータ） (2024-02-12T13:11:11Z)
Vector-Valued Least-Squares Regression under Output Regularity Assumptions [73.99064151691597]
最小二乗回帰問題を無限次元出力で解くために,還元ランク法を提案し,解析する。提案手法の学習バウンダリを導出し、フルランク手法と比較して統計的性能の設定を改善する研究を行う。
論文参考訳（メタデータ） (2022-11-16T15:07:00Z)
Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics [96.9177297872723]
本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
論文参考訳（メタデータ） (2022-10-12T09:12:59Z)
Stability and Generalization of Stochastic Optimization with Nonconvex and Nonsmooth Problems [34.68590236021379]
本稿では,アルゴリズム的安定度と定量的勾配と人口間のギャップについて述べる。これらのアルゴリズムを、暗黙の規則的な反復ステップサイズと適応勾配勾配を達成するためにどのように適用するかを示す。
論文参考訳（メタデータ） (2022-06-14T18:14:30Z)
Regret Analysis of Certainty Equivalence Policies in Continuous-Time Linear-Quadratic Systems [0.0]
本研究では,線形四元数系の正準モデル制御のためのユビキタス強化学習ポリシーの理論的性能保証について検討する。我々は、時間的後悔境界の平方根を確立し、ランダム化された確実性等価ポリシーが一つの状態軌跡から高速に最適な制御行動を学ぶことを示す。
論文参考訳（メタデータ） (2022-06-09T11:47:36Z)
On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文参考訳（メタデータ） (2021-06-30T17:51:36Z)
Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文参考訳（メタデータ） (2020-10-28T15:23:49Z)
A Natural Actor-Critic Algorithm with Downside Risk Constraints [5.482532589225552]
我々は、その非線型性を回避するために、下の部分モーメントを上界とする新しいベルマン方程式を導入する。我々は、この部分モーメントのプロキシが収縮であることを証明し、分散分解によるアルゴリズムの安定性の直感を与える。提案手法を自然政策勾配に拡張し,リスクに敏感な強化学習のための3つのベンチマーク問題に対するアプローチの有効性を実証する。
論文参考訳（メタデータ） (2020-07-08T15:44:33Z)
Responsive Safety in Reinforcement Learning by PID Lagrangian Methods [74.49173841304474]
ラグランジアン法は振動とオーバーシュートを示し、安全強化学習に適用すると制約違反行動を引き起こす。制約関数の微分を利用する新しいラグランジュ乗算器更新法を提案する。我々はPIDラグランジアン法を深部RLに適用し、安全RLベンチマークであるSafety Gymにおける新しい技術状態を設定する。
論文参考訳（メタデータ） (2020-07-08T08:43:14Z)
Complexity Guarantees for Polyak Steps with Momentum [76.97851351276165]
そこでは,この知識を最適な値である$f_*$で置き換える。まず、Polyak ステップによる単純な勾配勾配の古典的な場合よりも若干改善された収束境界を示し、その後、収束保証とともに、Polyak ステップと運動量を持つ加速勾配法を導出する。
論文参考訳（メタデータ） (2020-02-03T17:50:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。