論文の概要: Accelerating Nonconvex Learning via Replica Exchange Langevin Diffusion

• arxiv url: http://arxiv.org/abs/2007.01990v1
• Date: Sat, 4 Jul 2020 02:52:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-11-13 13:20:20.907037
• Title: Accelerating Nonconvex Learning via Replica Exchange Langevin Diffusion
• Title（参考訳）: Replica Exchange Langevin Diffusionによる非凸学習の高速化
• Authors: Yi Chen, Jinglin Chen, Jing Dong, Jian Peng, Zhaoran Wang
• Abstract要約: ランゲヴィン拡散は非最適化のための強力な方法である。 本稿では,Langevin拡散を異なる温度で置き換えるレプリカ交換を提案する。 レプリカ交換Langevin拡散を離散化することにより、離散時間アルゴリズムを得る。
• 参考スコア（独自算出の注目度）: 67.66101533752605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Langevin diffusion is a powerful method for nonconvex optimization, which enables the escape from local minima by injecting noise into the gradient. In particular, the temperature parameter controlling the noise level gives rise to a tradeoff between ``global exploration'' and ``local exploitation'', which correspond to high and low temperatures. To attain the advantages of both regimes, we propose to use replica exchange, which swaps between two Langevin diffusions with different temperatures. We theoretically analyze the acceleration effect of replica exchange from two perspectives: (i) the convergence in \chi^2-divergence, and (ii) the large deviation principle. Such an acceleration effect allows us to faster approach the global minima. Furthermore, by discretizing the replica exchange Langevin diffusion, we obtain a discrete-time algorithm. For such an algorithm, we quantify its discretization error in theory and demonstrate its acceleration effect in practice.
• Abstract（参考訳）: ランゲヴィン拡散は非凸最適化の強力な手法であり、勾配に雑音を注入することで局所最小値から逃れることができる。 特に、騒音レベルを制御する温度パラメータは、高温と低温に対応する「グローバルな探索」と「ローカルな利用」のトレードオフを引き起こす。 両レシエーションの利点を達成するために,異なる温度で2つのランゲヴィン拡散を交換するレプリカ交換法を提案する。 2つの観点からレプリカ交換の加速効果を理論的に分析する。 (i) \chi^2-divergenceの収束、及び (ii)大偏差原理。 このような加速効果により、グローバルミニマへのアプローチがより速くなります。 さらに、レプリカ交換ランジュバン拡散を離散化することで離散時間アルゴリズムを得る。 このようなアルゴリズムでは、理論上の離散化誤差を定量化し、実際に加速効果を示す。

関連論文リスト

• Hierarchical Flow Diffusion for Efficient Frame Interpolation [7.471940227504413]
  本稿では,階層的拡散モデルを用いて,両側の光流を明示的にモデル化することを提案する。 次に、フロー誘導画像合成器を用いて最終的な結果を生成する。 本手法は他の拡散法に比べて10倍以上の精度で精度が向上する。
  論文  参考訳（メタデータ） (2025-04-01T02:50:00Z)
• Semi-Implicit Functional Gradient Flow for Efficient Sampling [30.32233517392456]
  本稿では,ガウス雑音を近似系とする摂動粒子を用いた関数勾配ParVI法を提案する。 ニューラルネットワークと一致するスコアをデノナイズすることで推定できる機能的勾配流は,強い理論的収束保証を示す。 さらに,サンプリング中の適切な雑音の大きさを自動的に選択する適応バージョンを提案する。
  論文  参考訳（メタデータ） (2024-10-23T15:00:30Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Towards More Accurate Diffusion Model Acceleration with A Timestep Aligner [84.97253871387028]
  数千のデノナイジングステップを用いて画像を生成するために定式化された拡散モデルは通常、遅い推論速度に悩まされる。 最小限のコストで特定の区間に対するより正確な積分方向を見つけるのに役立つ時間ステップ整合器を提案する。 実験により,我々のプラグイン設計を効率的に訓練し,様々な最先端加速度法の推論性能を向上できることが示された。
  論文  参考訳（メタデータ） (2023-10-14T02:19:07Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Non-convex Bayesian Learning via Stochastic Gradient Markov Chain Monte Carlo [4.656426393230839]
  人工知能(AI)の台頭は、非トリップと不確実性のための現代のディープニューラルネットワーク(DNN)の効率性を重視している。 本論文ではモンテカルロ利用問題を扱うためのツールを提案する。 また,基礎となる正規方程式(ODE)システムに対する2つの動的重要度サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-30T18:25:11Z)
• Accelerating Convergence in Global Non-Convex Optimization with Reversible Diffusion [0.0]
  ランゲヴィン・ダイナミクスは、グローバルな非最適化実験で広く用いられている。 提案手法は,速度と離散化誤差のトレードオフについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T07:49:40Z)
• Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse Problems [64.29491112653905]
  本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。 具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。 提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
  論文  参考訳（メタデータ） (2023-03-10T07:42:49Z)
• Accelerating Convergence of Replica Exchange Stochastic Gradient MCMC via Variance Reduction [24.794221009364772]
  ノイズの多いエネルギー推定器の分散の低減について検討し、より効率的な分析を促進する。 合成実験および画像データに対する最適化および不確実性推定の最先端結果を得る。
  論文  参考訳（メタデータ） (2020-10-02T16:23:35Z)
• Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
  最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。