論文の概要: Just a Momentum: Analytical Study of Momentum-Based Acceleration Methods
in Paradigmatic High-Dimensional Non-Convex Problem
- arxiv url: http://arxiv.org/abs/2102.11755v2
- Date: Wed, 24 Feb 2021 09:40:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-26 06:19:17.480629
- Title: Just a Momentum: Analytical Study of Momentum-Based Acceleration Methods
in Paradigmatic High-Dimensional Non-Convex Problem
- Title(参考訳): ただのモーメント:パラメータ的高次元非凸問題におけるモーメントに基づく加速法の解析的研究
- Authors: Stefano Sarao Mannelli and Pierfrancesco Urbani
- Abstract要約: 損失関数が過剰な場合、バニラ勾配に基づく損失法よりも運動量に基づく方法を使うのが一般的である。
実効的なステップボールのダイナミクスは, 質量の増大によって向上し, 上昇することを示す。
- 参考スコア(独自算出の注目度): 12.132641563193584
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When optimizing over loss functions it is common practice to use
momentum-based accelerated methods rather than vanilla gradient-based method.
Despite widely applied to arbitrary loss function, their behaviour in
generically non-convex, high dimensional landscapes is poorly understood. In
this work we used dynamical mean field theory techniques to describe
analytically the average behaviour of these methods in a prototypical
non-convex model: the (spiked) matrix-tensor model. We derive a closed set of
equations that describe the behaviours of several algorithms including
heavy-ball momentum and Nesterov acceleration. Additionally we characterize the
evolution of a mathematically equivalent physical system of massive particles
relaxing toward the bottom of an energetic landscape. Under the correct mapping
the two dynamics are equivalent and it can be noticed that having a large mass
increases the effective time step of the heavy ball dynamics leading to a speed
up.
- Abstract(参考訳): 損失関数を最適化する場合、バニラ勾配法ではなく運動量に基づく加速法を用いるのが一般的である。
任意の損失関数に広く適用されているにもかかわらず、それらの挙動は一般には非凸であり、高次元の風景は理解されていない。
本研究では,動的平均場理論を用いて,原型的非凸モデルである行列テンソルモデルにおいて,これらの手法の平均挙動を解析的に記述した。
重球運動量やネステロフ加速を含むいくつかのアルゴリズムの挙動を記述する閉集合方程式を導出する。
さらに、エネルギー的景観の底部に向かってリラックスする巨大粒子の数学的に等価な物理系の進化を特徴づける。
正しいマッピングの下では、2つのダイナミクスは等価であり、大きな質量を持つと重いボールのダイナミクスの有効時間ステップが増大し、速度が上がることに気付く。
関連論文リスト
- An optimization-based equilibrium measure describes non-equilibrium
steady state dynamics: application to edge of chaos [3.0349733976070024]
最適化問題として定常状態を求めることは、勾配ダイナミクスの実行と等価であることを示す。
このフレームワーク内では、ニューラルネットワークの焼き込み内因性障害を平均化することができる。
本手法は,決定論的・高次元力学の定常景観を解析的に研究するための扉を開く。
論文 参考訳(メタデータ) (2024-01-18T14:25:32Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳(メタデータ) (2023-12-13T02:11:07Z) - Rigorous dynamical mean field theory for stochastic gradient descent
methods [17.90683687731009]
一階勾配法の一家系の正確な高次元に対する閉形式方程式を証明した。
これには勾配降下(SGD)やネステロフ加速度などの広く使われているアルゴリズムが含まれる。
論文 参考訳(メタデータ) (2022-10-12T21:10:55Z) - Losing momentum in continuous-time stochastic optimisation [62.997667081978825]
近年,運動量に基づくアルゴリズムが特に普及している。
本研究では,運動量を伴う勾配降下の連続時間モデルを提案し,解析する。
我々は、時間とともに運動量を減らす際に、我々のシステムを世界規模のミニミザーに収束させることを示す。
論文 参考訳(メタデータ) (2022-09-08T10:46:05Z) - A scalable deep learning approach for solving high-dimensional dynamic
optimal transport [18.67654056717166]
本研究では,高次元空間における動的最適輸送を解くためのディープラーニングに基づく手法を提案する。
本手法は,速度場を慎重に設計した表現,PDE制約の離散化,モンテカルロ法による高次元積分計算の3つの主成分を含む。
論文 参考訳(メタデータ) (2022-05-16T08:56:05Z) - Extension of Dynamic Mode Decomposition for dynamic systems with
incomplete information based on t-model of optimal prediction [69.81996031777717]
動的モード分解は、動的データを研究するための非常に効率的な手法であることが証明された。
このアプローチの適用は、利用可能なデータが不完全である場合に問題となる。
本稿では,森-Zwanzig分解の1次近似を考察し,対応する最適化問題を記述し,勾配に基づく最適化法を用いて解く。
論文 参考訳(メタデータ) (2022-02-23T11:23:59Z) - Decimation technique for open quantum systems: a case study with
driven-dissipative bosonic chains [62.997667081978825]
量子系の外部自由度への不可避結合は、散逸(非単体)ダイナミクスをもたらす。
本稿では,グリーン関数の(散逸的な)格子計算に基づいて,これらのシステムに対処する手法を提案する。
本手法のパワーを,複雑性を増大させる駆動散逸型ボゾン鎖のいくつかの例で説明する。
論文 参考訳(メタデータ) (2022-02-15T19:00:09Z) - Momentum Doesn't Change the Implicit Bias [36.301490759243876]
我々は運動量に基づく最適化の暗黙バイアスを分析する。
モデルパラメータと最大マージン解の間のギャップを解析するためのツールとして,新しいリアプノフ関数を構築した。
論文 参考訳(メタデータ) (2021-10-08T04:37:18Z) - Acceleration Methods [87.07695512525717]
まず,二次最適化問題を用いて,モメンタムとネスト正則性最適化スキームという2つの主要な手法を導入する。
我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。
次に、emphCatalystとemphAccelerated Hybrid Proximal Extragradientフレームワークの中心にある加速度技術をカバーする。
論文 参考訳(メタデータ) (2021-01-23T17:58:25Z) - Fast Gravitational Approach for Rigid Point Set Registration with
Ordinary Differential Equations [79.71184760864507]
本稿では,FGA(Fast Gravitational Approach)と呼ばれる厳密な点集合アライメントのための物理に基づく新しい手法を紹介する。
FGAでは、ソースとターゲットの点集合は、シミュレーションされた重力場内を移動しながら、世界規模で多重リンクされた方法で相互作用する質量を持つ剛体粒子群として解釈される。
従来のアライメント手法では,新しいメソッドクラスには特徴がないことを示す。
論文 参考訳(メタデータ) (2020-09-28T15:05:39Z) - A New Accelerated Stochastic Gradient Method with Momentum [4.967897656554012]
運動量(Sgdm)による勾配降下は、繰り返し時間とともに指数関数的に減衰する重みを使い、運動量項を生成する。
本研究では,指数関数的減衰重みと逆比例分解重みの両方が領域に最適化されるパラメータの移動方向のばらつきを制限することができる理論収束特性解析を行う。
論文 参考訳(メタデータ) (2020-05-31T03:04:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。