論文の概要: Accelerating Convergence in Global Non-Convex Optimization with Reversible Diffusion

• arxiv url: http://arxiv.org/abs/2305.11493v1
• Date: Fri, 19 May 2023 07:49:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 15:45:57.340949
• Title: Accelerating Convergence in Global Non-Convex Optimization with Reversible Diffusion
• Title（参考訳）: 可逆拡散による大域的非凸最適化における収束の促進
• Authors: Ryo Fujino
• Abstract要約: ランゲヴィン・ダイナミクスは、グローバルな非最適化実験で広く用いられている。 提案手法は,速度と離散化誤差のトレードオフについて検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Langevin Dynamics has been extensively employed in global non-convex optimization due to the concentration of its stationary distribution around the global minimum of the potential function at low temperatures. In this paper, we propose to utilize a more comprehensive class of stochastic processes, known as reversible diffusion, and apply the Euler-Maruyama discretization for global non-convex optimization. We design the diffusion coefficient to be larger when distant from the optimum and smaller when near, thus enabling accelerated convergence while regulating discretization error, a strategy inspired by landscape modifications. Our proposed method can also be seen as a time change of Langevin Dynamics, and we prove convergence with respect to KL divergence, investigating the trade-off between convergence speed and discretization error. The efficacy of our proposed method is demonstrated through numerical experiments.
• Abstract（参考訳）: ランジュバンダイナミクスは、低温でのポテンシャル関数の極小付近で定常分布が集中するため、大域的な非凸最適化に広く用いられている。 本稿では,可逆拡散(reversible diffusion)と呼ばれるより包括的な確率過程のクラスを活用し,大域的非凸最適化にオイラー・マルヤマ離散化を適用することを提案する。 本研究では, 地形変化にインスパイアされた戦略である, 離散化誤差を規制しながら, 収束速度を促進できるような拡散係数を設計する。 提案手法はLangevin Dynamicsの時間的変化と見なすことができ,KLの発散に関して収束を証明し,収束速度と離散化誤差のトレードオフについて検討する。 提案手法の有効性を数値実験により実証した。

関連論文リスト

• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Reweighted Interacting Langevin Diffusions: an Accelerated Sampling Methodfor Optimization [28.25662317591378]
  本稿では, サンプリング手法を高速化し, 難解な最適化問題の解法を提案する。 提案手法は, 後部分布サンプリングとLangevin Dynamicsを用いた最適化の関連性について検討する。
  論文  参考訳（メタデータ） (2023-01-30T03:48:20Z)
• Convergence Error Analysis of Reflected Gradient Langevin Dynamics for Globally Optimizing Non-Convex Constrained Problems [38.544941658428534]
  グラディエントランゲヴィン力学とその変種は、最初は大域方程式において、大域最適解への収束に注目を惹きつけている。 本稿では,新しい凸制約付き非拘束境界問題を提案する。
  論文  参考訳（メタデータ） (2022-03-19T02:08:24Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Federated Functional Gradient Boosting [75.06942944563572]
  フェデレーション学習における機能最小化に関する研究 FFGB.C と FFGB.L は、特徴分布がより均一になるにつれて収束半径が 0 に縮まる。
  論文  参考訳（メタデータ） (2021-03-11T21:49:19Z)
• Accelerating Nonconvex Learning via Replica Exchange Langevin Diffusion [67.66101533752605]
  ランゲヴィン拡散は非最適化のための強力な方法である。 本稿では,Langevin拡散を異なる温度で置き換えるレプリカ交換を提案する。 レプリカ交換Langevin拡散を離散化することにより、離散時間アルゴリズムを得る。
  論文  参考訳（メタデータ） (2020-07-04T02:52:11Z)
• Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
  最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:07:37Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。