論文の概要: Just a Momentum: Analytical Study of Momentum-Based Acceleration Methods Methods in Paradigmatic High-Dimensional Non-Convex Problem

• arxiv url: http://arxiv.org/abs/2102.11755v1
• Date: Tue, 23 Feb 2021 15:30:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-25 11:28:18.123393
• Title: Just a Momentum: Analytical Study of Momentum-Based Acceleration Methods Methods in Paradigmatic High-Dimensional Non-Convex Problem
• Title（参考訳）: ただのモーメント:パラディグマ的高次元非凸問題におけるモーメントに基づく加速法の解析的研究
• Authors: Stefano Sarao Mannelli and Pierfrancesco Urbani
• Abstract要約: 損失関数が過剰な場合、バニラ勾配に基づく損失法よりも運動量に基づく方法を使うのが一般的である。 実効的なステップボールのダイナミクスは, 質量の増大によって向上し, 上昇することを示す。
• 参考スコア（独自算出の注目度）: 12.132641563193584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When optimizing over loss functions it is common practice to use momentum-based accelerated methods rather than vanilla gradient-based method. Despite widely applied to arbitrary loss function, their behaviour in generically non-convex, high dimensional landscapes is poorly understood. In this work we used dynamical mean field theory techniques to describe analytically the average behaviour of these methods in a prototypical non-convex model: the (spiked) matrix-tensor model. We derive a closed set of equations that describe the behaviours of several algorithms including heavy-ball momentum and Nesterov acceleration. Additionally we characterize the evolution of a mathematically equivalent physical system of massive particles relaxing toward the bottom of an energetic landscape. Under the correct mapping the two dynamics are equivalent and it can be noticed that having a large mass increases the effective time step of the heavy ball dynamics leading to a speed up.
• Abstract（参考訳）: 損失関数を最適化する場合、バニラ勾配法ではなく運動量に基づく加速法を用いるのが一般的である。 任意の損失関数に広く適用されているにもかかわらず、それらの挙動は一般には非凸であり、高次元の風景は理解されていない。 本研究では,動的平均場理論を用いて,原型的非凸モデルである行列テンソルモデルにおいて,これらの手法の平均挙動を解析的に記述した。 重球運動量やネステロフ加速を含むいくつかのアルゴリズムの挙動を記述する閉集合方程式を導出する。 さらに、エネルギー的景観の底部に向かってリラックスする巨大粒子の数学的に等価な物理系の進化を特徴づける。 正しいマッピングの下では、2つのダイナミクスは等価であり、大きな質量を持つと重いボールのダイナミクスの有効時間ステップが増大し、速度が上がることに気付く。

関連論文リスト

• An optimization-based equilibrium measure describes non-equilibrium steady state dynamics: application to edge of chaos [2.5690340428649328]
  神経力学を理解することは、機械学習、非線形物理学、神経科学において中心的なトピックである。 力学は非線形であり、特に非勾配、すなわち駆動力はポテンシャルの勾配として書けない。
  論文  参考訳（メタデータ） (2024-01-18T14:25:32Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Rigorous dynamical mean field theory for stochastic gradient descent methods [17.90683687731009]
  一階勾配法の一家系の正確な高次元に対する閉形式方程式を証明した。 これには勾配降下(SGD)やネステロフ加速度などの広く使われているアルゴリズムが含まれる。
  論文  参考訳（メタデータ） (2022-10-12T21:10:55Z)
• A scalable deep learning approach for solving high-dimensional dynamic optimal transport [18.67654056717166]
  本研究では,高次元空間における動的最適輸送を解くためのディープラーニングに基づく手法を提案する。 本手法は,速度場を慎重に設計した表現,PDE制約の離散化,モンテカルロ法による高次元積分計算の3つの主成分を含む。
  論文  参考訳（メタデータ） (2022-05-16T08:56:05Z)
• Extension of Dynamic Mode Decomposition for dynamic systems with incomplete information based on t-model of optimal prediction [69.81996031777717]
  動的モード分解は、動的データを研究するための非常に効率的な手法であることが証明された。 このアプローチの適用は、利用可能なデータが不完全である場合に問題となる。 本稿では,森-Zwanzig分解の1次近似を考察し,対応する最適化問題を記述し,勾配に基づく最適化法を用いて解く。
  論文  参考訳（メタデータ） (2022-02-23T11:23:59Z)
• Decimation technique for open quantum systems: a case study with driven-dissipative bosonic chains [62.997667081978825]
  量子系の外部自由度への不可避結合は、散逸(非単体)ダイナミクスをもたらす。 本稿では,グリーン関数の(散逸的な)格子計算に基づいて,これらのシステムに対処する手法を提案する。 本手法のパワーを,複雑性を増大させる駆動散逸型ボゾン鎖のいくつかの例で説明する。
  論文  参考訳（メタデータ） (2022-02-15T19:00:09Z)
• Momentum Doesn't Change the Implicit Bias [36.301490759243876]
  我々は運動量に基づく最適化の暗黙バイアスを分析する。 モデルパラメータと最大マージン解の間のギャップを解析するためのツールとして,新しいリアプノフ関数を構築した。
  論文  参考訳（メタデータ） (2021-10-08T04:37:18Z)
• A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
  最適化のための異なる手法を導出できる変分法を導入する。 我々は1対1の対応において最適化手法の2つのファミリを導出する。 自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
  論文  参考訳（メタデータ） (2021-06-04T20:21:53Z)
• Fast Gravitational Approach for Rigid Point Set Registration with Ordinary Differential Equations [79.71184760864507]
  本稿では,FGA(Fast Gravitational Approach)と呼ばれる厳密な点集合アライメントのための物理に基づく新しい手法を紹介する。 FGAでは、ソースとターゲットの点集合は、シミュレーションされた重力場内を移動しながら、世界規模で多重リンクされた方法で相互作用する質量を持つ剛体粒子群として解釈される。 従来のアライメント手法では,新しいメソッドクラスには特徴がないことを示す。
  論文  参考訳（メタデータ） (2020-09-28T15:05:39Z)
• Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
  最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:07:37Z)
• A New Accelerated Stochastic Gradient Method with Momentum [4.967897656554012]
  運動量(Sgdm)による勾配降下は、繰り返し時間とともに指数関数的に減衰する重みを使い、運動量項を生成する。 本研究では,指数関数的減衰重みと逆比例分解重みの両方が領域に最適化されるパラメータの移動方向のばらつきを制限することができる理論収束特性解析を行う。
  論文  参考訳（メタデータ） (2020-05-31T03:04:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。