論文の概要: The Expected Loss of Preconditioned Langevin Dynamics Reveals the Hessian Rank

• arxiv url: http://arxiv.org/abs/2402.13810v1
• Date: Wed, 21 Feb 2024 13:47:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 15:20:34.009641
• Title: The Expected Loss of Preconditioned Langevin Dynamics Reveals the Hessian Rank
• Title（参考訳）: プレコンディション付きランゲヴィンダイナミクスの喪失がヘッセンのランクを明らかに
• Authors: Amitay Bar, Rotem Mulayoff, Tomer Michaeli, Ronen Talmon
• Abstract要約: Langevin dynamics (LD) は分布のサンプリングや最適化に広く使われている。 目的関数の定常点付近でプレコンディショニングされたLDの損失を予想するクローズドフォーム式を導出する。
• 参考スコア（独自算出の注目度）: 31.59029194382636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Langevin dynamics (LD) is widely used for sampling from distributions and for optimization. In this work, we derive a closed-form expression for the expected loss of preconditioned LD near stationary points of the objective function. We use the fact that at the vicinity of such points, LD reduces to an Ornstein-Uhlenbeck process, which is amenable to convenient mathematical treatment. Our analysis reveals that when the preconditioning matrix satisfies a particular relation with respect to the noise covariance, LD's expected loss becomes proportional to the rank of the objective's Hessian. We illustrate the applicability of this result in the context of neural networks, where the Hessian rank has been shown to capture the complexity of the predictor function but is usually computationally hard to probe. Finally, we use our analysis to compare SGD-like and Adam-like preconditioners and identify the regimes under which each of them leads to a lower expected loss.
• Abstract（参考訳）: Langevin dynamics (LD) は分布のサンプリングや最適化に広く使われている。 本研究では,対象関数の定常点付近で事前条件付きLDの損失を期待する閉形式式を導出する。 このような点の近傍では、LDはオルンシュタイン・ウレンベック過程に還元され、便利な数学的処理が可能となる。 本解析により,プレコンディショニング行列が雑音共分散に関して特定の関係を満たすと,ldの期待損失は対象のヘッシアンのランクに比例することが明らかとなった。 この結果の適用性はニューラルネットワークの文脈で説明され、ヘシアンランクは予測関数の複雑さを捉えるために示されてきたが、通常計算的に探究するのは困難である。 最後に,sgdライクとアダムライクのプレコンディショナーを比較し,それぞれが期待する損失を減少させるレジームを同定する。

関連論文リスト

• Faster Sampling via Stochastic Gradient Proximal Sampler [28.422547264326468]
  非log-concave分布からのサンプリングのための近位サンプリング器 (SPS) について検討した。 対象分布への収束性は,アルゴリズムの軌道が有界である限り保証可能であることを示す。 我々は、Langevin dynamics(SGLD)とLangevin-MALAの2つの実装可能な変種を提供し、SPS-SGLDとSPS-MALAを生み出した。
  論文  参考訳（メタデータ） (2024-05-27T00:53:18Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Sparse-Group Log-Sum Penalized Graphical Model Learning For Time Series [12.843340232167266]
  定常多変量ガウス時系列の条件独立グラフ(CIG)を推定する問題を考察する。 スパース群ラスソに基づく周波数領域の定式化が文献で検討されている。 合成データと実データの両方を活用するアプローチについて説明する。
  論文  参考訳（メタデータ） (2022-04-29T00:06:41Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• The Dynamics of Gradient Descent for Overparametrized Neural Networks [19.11271777632797]
  GD の下でのニューラルネットワークの重みのダイナミクスは、最小ノルム解に近い点に収束することを示した。 この結果の応用を説明するために、gd はよく一般化された勾配関数に収束することを示す。
  論文  参考訳（メタデータ） (2021-05-13T22:20:30Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• The Heavy-Tail Phenomenon in SGD [7.366405857677226]
  最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。 深層学習におけるSGDの行動に関する知見に分析結果を変換する。
  論文  参考訳（メタデータ） (2020-06-08T16:43:56Z)
• On the Convergence Rate of Projected Gradient Descent for a Back-Projection based Objective [58.33065918353532]
  我々は、最小二乗(LS)の代替として、バックプロジェクションに基づく忠実度項を考える。 LS項ではなくBP項を用いることで最適化アルゴリズムの繰り返しを少なくすることを示す。
  論文  参考訳（メタデータ） (2020-05-03T00:58:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。