論文の概要: Reweighted Interacting Langevin Diffusions: an Accelerated Sampling Methodfor Optimization

• arxiv url: http://arxiv.org/abs/2301.12640v1
• Date: Mon, 30 Jan 2023 03:48:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 15:54:44.431875
• Title: Reweighted Interacting Langevin Diffusions: an Accelerated Sampling Methodfor Optimization
• Title（参考訳）: Reweighted Interacting Langevin Diffusions:Accelerated Smpling Method for Optimization
• Authors: Junlong Lyu, Zhitang Chen, Wenlong Lyu, Jianye Hao
• Abstract要約: 本稿では, サンプリング手法を高速化し, 難解な最適化問題の解法を提案する。 提案手法は, 後部分布サンプリングとLangevin Dynamicsを用いた最適化の関連性について検討する。
• 参考スコア（独自算出の注目度）: 28.25662317591378
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We proposed a new technique to accelerate sampling methods for solving difficult optimization problems. Our method investigates the intrinsic connection between posterior distribution sampling and optimization with Langevin dynamics, and then we propose an interacting particle scheme that approximates a Reweighted Interacting Langevin Diffusion system (RILD). The underlying system is designed by adding a multiplicative source term into the classical Langevin operator, leading to a higher convergence rate and a more concentrated invariant measure. We analyze the convergence rate of our algorithm and the improvement compared to existing results in the asymptotic situation. We also design various tests to verify our theoretical results, showing the advantages of accelerating convergence and breaking through barriers of suspicious local minimums, especially in high-dimensional non-convex settings. Our algorithms and analysis shed some light on combining gradient and genetic algorithms using Partial Differential Equations (PDEs) with provable guarantees.
• Abstract（参考訳）: 難解な最適化問題に対するサンプリング法を高速化する新しい手法を提案する。 本稿では,Langevin ダイナミックスを用いた後方分布サンプリングと最適化の本質的な関係について検討し,Reweighted Interacting Langevin Diffusion System (RILD) を近似した相互作用粒子スキームを提案する。 基礎となるシステムは、古典的なランジュバン作用素に乗法的ソース項を追加して設計され、より高い収束率とより集中的な不変測度をもたらす。 アルゴリズムの収束率と改善率を漸近的状況における既存の結果と比較した。 また,特に高次元非凸領域において,収束を加速し,不審な局所的最小値の障壁を突破する利点を示すとともに,理論的結果を検証するための様々な試験を設計した。 我々のアルゴリズムと分析は、偏微分方程式(PDE)と証明可能な保証を用いた勾配と遺伝的アルゴリズムの組み合わせに光を当てた。

関連論文リスト

• ODE-based Learning to Optimize [28.380622776436905]
  我々は、慣性系とヘッセン駆動制振方程式(ISHD)を統合した包括的枠組みを提案する。 収束・安定条件を考慮した停止時間を最小化することを目的とした新しい学習法(L2O)を定式化する。 本フレームワークの実証検証は,多種多様な最適化問題に対する広範な数値実験を通じて行われる。
  論文  参考訳（メタデータ） (2024-06-04T06:39:45Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Taming the Interacting Particle Langevin Algorithm -- the superlinear case [0.0]
  我々は、この非線型性の下で、タグ付き相互作用粒子ランゲヴィンアルゴリズム(tIPLA)と呼ばれる新しい安定なクラスを開発する。 We obtain non-asymptotic convergence error estimates in Wasserstein-2 distance for the new class under an optimal rate。
  論文  参考訳（メタデータ） (2024-03-28T17:11:25Z)
• Diffusion Stochastic Optimization for Min-Max Problems [33.73046548872663]
  楽観的勾配法はミニマックス最適化問題に対処するのに有用である。 従来のバージョンでは大きなバッチサイズが必要であり,Samevareps-generativeOGOGと呼ばれる新しい定式化を導入,解析する。
  論文  参考訳（メタデータ） (2024-01-26T01:16:59Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Score-Guided Intermediate Layer Optimization: Fast Langevin Mixing for Inverse Problem [97.64313409741614]
  ランダム重み付きDNNジェネレータを反転させるため,Langevinアルゴリズムの定常分布を高速に混合し,特徴付ける。 本稿では,事前学習した生成モデルの潜時空間における後部サンプリングを提案する。
  論文  参考訳（メタデータ） (2022-06-18T03:47:37Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Distributed Proximal Splitting Algorithms with Rates and Acceleration [7.691755449724637]
  解に対する関数値の最適値または距離の新しいレートで、線形および線形収束結果を導出する。 本稿では,これらのアルゴリズムの分散変種を提案する。
  論文  参考訳（メタデータ） (2020-10-02T12:35:09Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。