論文の概要: Reweighted Interacting Langevin Diffusions: an Accelerated Sampling
Methodfor Optimization
- arxiv url: http://arxiv.org/abs/2301.12640v1
- Date: Mon, 30 Jan 2023 03:48:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-31 15:54:44.431875
- Title: Reweighted Interacting Langevin Diffusions: an Accelerated Sampling
Methodfor Optimization
- Title(参考訳): Reweighted Interacting Langevin Diffusions:Accelerated Smpling Method for Optimization
- Authors: Junlong Lyu, Zhitang Chen, Wenlong Lyu, Jianye Hao
- Abstract要約: 本稿では, サンプリング手法を高速化し, 難解な最適化問題の解法を提案する。
提案手法は, 後部分布サンプリングとLangevin Dynamicsを用いた最適化の関連性について検討する。
- 参考スコア(独自算出の注目度): 28.25662317591378
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We proposed a new technique to accelerate sampling methods for solving
difficult optimization problems. Our method investigates the intrinsic
connection between posterior distribution sampling and optimization with
Langevin dynamics, and then we propose an interacting particle scheme that
approximates a Reweighted Interacting Langevin Diffusion system (RILD). The
underlying system is designed by adding a multiplicative source term into the
classical Langevin operator, leading to a higher convergence rate and a more
concentrated invariant measure. We analyze the convergence rate of our
algorithm and the improvement compared to existing results in the asymptotic
situation. We also design various tests to verify our theoretical results,
showing the advantages of accelerating convergence and breaking through
barriers of suspicious local minimums, especially in high-dimensional
non-convex settings. Our algorithms and analysis shed some light on combining
gradient and genetic algorithms using Partial Differential Equations (PDEs)
with provable guarantees.
- Abstract(参考訳): 難解な最適化問題に対するサンプリング法を高速化する新しい手法を提案する。
本稿では,Langevin ダイナミックスを用いた後方分布サンプリングと最適化の本質的な関係について検討し,Reweighted Interacting Langevin Diffusion System (RILD) を近似した相互作用粒子スキームを提案する。
基礎となるシステムは、古典的なランジュバン作用素に乗法的ソース項を追加して設計され、より高い収束率とより集中的な不変測度をもたらす。
アルゴリズムの収束率と改善率を漸近的状況における既存の結果と比較した。
また,特に高次元非凸領域において,収束を加速し,不審な局所的最小値の障壁を突破する利点を示すとともに,理論的結果を検証するための様々な試験を設計した。
我々のアルゴリズムと分析は、偏微分方程式(PDE)と証明可能な保証を用いた勾配と遺伝的アルゴリズムの組み合わせに光を当てた。
関連論文リスト
- Diffusion Stochastic Optimization for Min-Max Problems [33.73046548872663]
楽観的勾配法はミニマックス最適化問題に対処するのに有用である。
従来のバージョンでは大きなバッチサイズが必要であり,Samevareps-generativeOGOGと呼ばれる新しい定式化を導入,解析する。
論文 参考訳(メタデータ) (2024-01-26T01:16:59Z) - Momentum Particle Maximum Likelihood [2.6831773062745863]
パラメータと確率分布の拡張空間上の自由エネルギー関数を最小化するための類似システムに基づくアプローチを提案する。
適切な仮定の下では、提案された系を連続時間における一意的な一意の最小化器に定量的に収束させる。
そこで本研究では,潜在変数モデルにおけるパラメータ推定に適用可能な数値的な離散化を提案する。
論文 参考訳(メタデータ) (2023-12-12T14:53:18Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳(メタデータ) (2023-06-10T08:25:16Z) - Score-Guided Intermediate Layer Optimization: Fast Langevin Mixing for
Inverse Problem [97.64313409741614]
ランダム重み付きDNNジェネレータを反転させるため,Langevinアルゴリズムの定常分布を高速に混合し,特徴付ける。
本稿では,事前学習した生成モデルの潜時空間における後部サンプリングを提案する。
論文 参考訳(メタデータ) (2022-06-18T03:47:37Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳(メタデータ) (2022-01-25T17:13:56Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳(メタデータ) (2021-07-23T13:43:34Z) - Distributed Proximal Splitting Algorithms with Rates and Acceleration [7.691755449724637]
解に対する関数値の最適値または距離の新しいレートで、線形および線形収束結果を導出する。
本稿では,これらのアルゴリズムの分散変種を提案する。
論文 参考訳(メタデータ) (2020-10-02T12:35:09Z) - Stochastic Gradient Langevin with Delayed Gradients [29.6870062491741]
本研究では,計算に用いた遅延勾配情報による誤差が測定値の収束率に有意な影響を及ぼさないことを示す。
計算に用いた遅延勾配情報による誤差は, 測定値の収束率に有意な影響を与えず, ウォールクロック時間における高速化の可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-12T17:51:30Z) - IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。
提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。
加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
論文 参考訳(メタデータ) (2020-06-11T18:49:06Z) - Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。
我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。
得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
論文 参考訳(メタデータ) (2020-02-21T17:45:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。