論文の概要: Stochastic Gradient Descent-like relaxation is equivalent to Metropolis dynamics in discrete optimization and inference problems

• arxiv url: http://arxiv.org/abs/2309.05337v2
• Date: Thu, 30 May 2024 09:11:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 23:52:32.293752
• Title: Stochastic Gradient Descent-like relaxation is equivalent to Metropolis dynamics in discrete optimization and inference problems
• Title（参考訳）: 確率勾配Descent様緩和は離散最適化および推論問題におけるメトロポリス力学と等価である
• Authors: Maria Chiara Angelini, Angelo Giorgio Cavaliere, Raffaele Marino, Federico Ricci-Tersenghi,
• Abstract要約: SGDライクなアルゴリズムの力学は、適切に選択された温度のメトロポリスモンテカルロと非常によく似ていることを示す。 この等価性により、モンテカルロアルゴリズムの性能と限界に関する結果を用いて、SGDライクなアルゴリズムのミニバッチサイズを最適化できる。
• 参考スコア（独自算出の注目度）: 0.7499722271664147
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Is Stochastic Gradient Descent (SGD) substantially different from Metropolis Monte Carlo dynamics? This is a fundamental question at the time of understanding the most used training algorithm in the field of Machine Learning, but it received no answer until now. Here we show that in discrete optimization and inference problems, the dynamics of an SGD-like algorithm resemble very closely that of Metropolis Monte Carlo with a properly chosen temperature, which depends on the mini-batch size. This quantitative matching holds both at equilibrium and in the out-of-equilibrium regime, despite the two algorithms having fundamental differences (e.g.\ SGD does not satisfy detailed balance). Such equivalence allows us to use results about performances and limits of Monte Carlo algorithms to optimize the mini-batch size in the SGD-like algorithm and make it efficient at recovering the signal in hard inference problems.
• Abstract（参考訳）: SGD(Stochastic Gradient Descent)はモンテカルロ大都市圏とはかなり異なるか? これは機械学習の分野で最も使われているトレーニングアルゴリズムを理解するときの基本的問題だが、今のところ回答は得られていない。 ここでは、離散最適化および推論問題において、SGDライクなアルゴリズムの力学は、ミニバッチサイズに依存する適切な温度のメトロポリスモンテカルロと非常によく似ていることを示す。 この量的マッチングは、基本的な違いがある2つのアルゴリズム(例えば、SGDは詳細なバランスを満足していない)にもかかわらず、平衡状態と非平衡状態の両方で成り立つ。 このような等価性により、モンテカルロアルゴリズムの性能と限界に関する結果を用いて、SGDのようなアルゴリズムのミニバッチサイズを最適化し、ハード推論問題における信号の回復を効率よく行うことができる。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Greedy versus Map-based Optimized Adaptive Algorithms for random-telegraph-noise mitigation by spectator qubits [6.305016513788048]
  データストレージキュービットを可能な限り分離したままにしておくシナリオでは、ノイズプローブを追加してノイズ軽減を行うことができる。 量子ビット上の射影的測定を仮定した理論モデルを構築し、異なる測定・制御戦略の性能を導出する。 解析的および数値的に、MOAAARは、特にSQの高雑音感度状態において、Greedyアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-25T08:25:10Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• The effective noise of Stochastic Gradient Descent [9.645196221785694]
  Gradient Descent (SGD) は、ディープラーニング技術のワークホースアルゴリズムである。 SGDのパラメータと最近導入された変種である永続型SGDをニューラルネットワークモデルで特徴づける。 よりノイズの多いアルゴリズムは、対応する制約満足度問題のより広い決定境界につながる。
  論文  参考訳（メタデータ） (2021-12-20T20:46:19Z)
• Non Asymptotic Bounds for Optimization via Online Multiplicative Stochastic Gradient Descent [0.0]
  グラディエントDescent(SGD)の勾配雑音は,その特性において重要な役割を担っていると考えられている。 ミニバッチによるSGDの平均と共分散構造を持つ雑音クラスは、同様の特性を持つことを示す。 また,M-SGDアルゴリズムの強い凸状態における収束の限界を定めている。
  論文  参考訳（メタデータ） (2021-12-14T02:25:43Z)
• Quantum algorithm for stochastic optimal stopping problems with applications in finance [60.54699116238087]
  有名な最小二乗モンテカルロ (LSM) アルゴリズムは、線形最小二乗回帰とモンテカルロシミュレーションを組み合わせることで、最適停止理論の問題を解決する。 プロセスへの量子アクセス、最適な停止時間を計算するための量子回路、モンテカルロの量子技術に基づく量子LSMを提案する。
  論文  参考訳（メタデータ） (2021-11-30T12:21:41Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
  そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。 我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。 数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-18T16:40:45Z)
• Stochastic Gradient Langevin Dynamics Algorithms with Adaptive Drifts [8.36840154574354]
  そこで我々は, ドリフト関数を偏り, サドル点からの脱出を促進させ, バイアスを過去のサンプルの勾配に応じて適応的に調整する, 適応的勾配勾配連鎖モンテカルロ(SGMCMC)アルゴリズムを提案する。 本稿では,提案アルゴリズムが既存のSGMCMCアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-20T22:03:39Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)
• Multi-index Antithetic Stochastic Gradient Algorithm [0.0]
  グラディエントアルゴリズム(SGA)は、計算統計学、機械学習、最適化においてユビキタスである。 近年、SGAへの関心が高まり、そのバイアスに関する非漸近的分析が十分に開発されている。 モンテカルロ推定器のクラスにおける平均2乗誤差計算コストの観点から,MASGAは最適推定器であることを示す。
  論文  参考訳（メタデータ） (2020-06-10T22:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。