論文の概要: Accelerating Nonconvex Learning via Replica Exchange Langevin Diffusion

• arxiv url: http://arxiv.org/abs/2007.01990v1
• Date: Sat, 4 Jul 2020 02:52:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 13:20:20.907037
• Title: Accelerating Nonconvex Learning via Replica Exchange Langevin Diffusion
• Title（参考訳）: Replica Exchange Langevin Diffusionによる非凸学習の高速化
• Authors: Yi Chen, Jinglin Chen, Jing Dong, Jian Peng, Zhaoran Wang
• Abstract要約: ランゲヴィン拡散は非最適化のための強力な方法である。 本稿では,Langevin拡散を異なる温度で置き換えるレプリカ交換を提案する。 レプリカ交換Langevin拡散を離散化することにより、離散時間アルゴリズムを得る。
• 参考スコア（独自算出の注目度）: 67.66101533752605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Langevin diffusion is a powerful method for nonconvex optimization, which enables the escape from local minima by injecting noise into the gradient. In particular, the temperature parameter controlling the noise level gives rise to a tradeoff between ``global exploration'' and ``local exploitation'', which correspond to high and low temperatures. To attain the advantages of both regimes, we propose to use replica exchange, which swaps between two Langevin diffusions with different temperatures. We theoretically analyze the acceleration effect of replica exchange from two perspectives: (i) the convergence in \chi^2-divergence, and (ii) the large deviation principle. Such an acceleration effect allows us to faster approach the global minima. Furthermore, by discretizing the replica exchange Langevin diffusion, we obtain a discrete-time algorithm. For such an algorithm, we quantify its discretization error in theory and demonstrate its acceleration effect in practice.
• Abstract（参考訳）: ランゲヴィン拡散は非凸最適化の強力な手法であり、勾配に雑音を注入することで局所最小値から逃れることができる。 特に、騒音レベルを制御する温度パラメータは、高温と低温に対応する「グローバルな探索」と「ローカルな利用」のトレードオフを引き起こす。 両レシエーションの利点を達成するために,異なる温度で2つのランゲヴィン拡散を交換するレプリカ交換法を提案する。 2つの観点からレプリカ交換の加速効果を理論的に分析する。 (i) \chi^2-divergenceの収束、及び (ii)大偏差原理。 このような加速効果により、グローバルミニマへのアプローチがより速くなります。 さらに、レプリカ交換ランジュバン拡散を離散化することで離散時間アルゴリズムを得る。 このようなアルゴリズムでは、理論上の離散化誤差を定量化し、実際に加速効果を示す。

関連論文リスト

• Reweighted Interacting Langevin Diffusions: an Accelerated Sampling Methodfor Optimization [28.25662317591378]
  本稿では, サンプリング手法を高速化し, 難解な最適化問題の解法を提案する。 提案手法は, 後部分布サンプリングとLangevin Dynamicsを用いた最適化の関連性について検討する。
  論文  参考訳（メタデータ） (2023-01-30T03:48:20Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  拡散モデルは様々な地域で広く採用されている。 しかし,ネットワーク評価の数百～3分の1で逆処理をエミュレートするので,サンプリングは遅い。 微分方程式解の高速化におけるニューラル演算子の成功に触発されて、演算子学習の観点から基礎となるニューラル微分方程式を解くことにより、この問題にアプローチする。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• Diffusion-GAN: Training GANs with Diffusion [82.81693885590444]
  本稿では,識別器の入力にインスタンスノイズを注入するDiffusion-GANを提案する。 多様なデータセットに関する豊富な実験は、Diffusion-GANが安定的でデータ効率のよいGANトレーニングを提供できることを示している。
  論文  参考訳（メタデータ） (2022-06-05T20:45:01Z)
• Come-Closer-Diffuse-Faster: Accelerating Conditional Diffusion Models for Inverse Problems through Stochastic Contraction [31.61199061999173]
  拡散モデルには重要な欠点がある。純粋なガウスノイズから画像を生成するために数千ステップの反復を必要とするため、サンプリングが本質的に遅い。 ガウスノイズから始めることは不要であることを示す。代わりに、より優れた初期化を伴う単一前方拡散から始めると、逆条件拡散におけるサンプリングステップの数を大幅に減少させる。 ComeCloser-DiffuseFaster (CCDF)と呼ばれる新しいサンプリング戦略は、逆問題に対する既存のフィードフォワードニューラルネットワークアプローチが拡散モデルと相乗的に組み合わせられる方法について、新たな洞察を明らかにしている。
  論文  参考訳（メタデータ） (2021-12-09T04:28:41Z)
• Accelerating Convergence of Replica Exchange Stochastic Gradient MCMC via Variance Reduction [24.794221009364772]
  ノイズの多いエネルギー推定器の分散の低減について検討し、より効率的な分析を促進する。 合成実験および画像データに対する最適化および不確実性推定の最先端結果を得る。
  論文  参考訳（メタデータ） (2020-10-02T16:23:35Z)
• Deriving Differential Target Propagation from Iterating Approximate Inverses [91.3755431537592]
  本稿では,各層が学習した逆数に依存するターゲット伝搬の特定の形態が,ガウス-ニュートン勾配に基づく近似最適化に対応する更新規則を導出することを示す。 そこで我々は,各層における局所的自動エンコーダに基づく反復計算について検討し,より正確な目標伝搬のインバージョンを実現する。
  論文  参考訳（メタデータ） (2020-07-29T22:34:45Z)
• Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
  最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:07:37Z)
• Adaptive Gradient Methods Can Be Provably Faster than SGD after Finite Epochs [25.158203665218164]
  適応勾配法は有限時間後にランダムシャッフルSGDよりも高速であることを示す。 我々の知る限り、適応的勾配法は有限時間後にSGDよりも高速であることを示すのはこれが初めてである。
  論文  参考訳（メタデータ） (2020-06-12T09:39:47Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。