論文の概要: Fast Mixing of Multi-Scale Langevin Dynamics under the Manifold Hypothesis

• arxiv url: http://arxiv.org/abs/2006.11166v2
• Date: Mon, 22 Jun 2020 19:54:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 03:56:59.182521
• Title: Fast Mixing of Multi-Scale Langevin Dynamics under the Manifold Hypothesis
• Title（参考訳）: マニフォールド仮説下におけるマルチスケールランゲヴィンダイナミクスの高速混合
• Authors: Adam Block, Youssef Mroueh, Alexander Rakhlin, and Jerret Ross
• Abstract要約: 我々は,Langevin次元のアルゴリズムによって,より小さなデータに依存する時間を大幅に短縮できることを示す。 第二に、サンプリング空間の高さはランゲヴィン・ダイナミクスの性能を著しく損なう。
• 参考スコア（独自算出の注目度）: 85.65870661645823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the task of image generation has attracted much attention. In particular, the recent empirical successes of the Markov Chain Monte Carlo (MCMC) technique of Langevin Dynamics have prompted a number of theoretical advances; despite this, several outstanding problems remain. First, the Langevin Dynamics is run in very high dimension on a nonconvex landscape; in the worst case, due to the NP-hardness of nonconvex optimization, it is thought that Langevin Dynamics mixes only in time exponential in the dimension. In this work, we demonstrate how the manifold hypothesis allows for the considerable reduction of mixing time, from exponential in the ambient dimension to depending only on the (much smaller) intrinsic dimension of the data. Second, the high dimension of the sampling space significantly hurts the performance of Langevin Dynamics; we leverage a multi-scale approach to help ameliorate this issue and observe that this multi-resolution algorithm allows for a trade-off between image quality and computational expense in generation.
• Abstract（参考訳）: 近年,画像生成の課題が注目されている。 特に、近年のマルコフ・チェイン・モンテカルロ(MCMC)によるランゲヴィン・ダイナミクス(英語版)の実証的な成功は、いくつかの理論的な進歩を引き起こしている。 まず、ランゲヴィン・ダイナミクスは非凸地形上で非常に高次元で動作するが、最悪の場合、非凸最適化のNP硬度のため、ランゲヴィン・ダイナミクスは次元において指数関数的にのみ混合されると考えられている。 本研究では, 多様体仮説により, 空間次元の指数関数から, データの(かなり小さい)内在次元のみに依存するものまで, 混合時間の相当な低減を実現することを実証する。 第二に、サンプリング空間の高次元はLangevin Dynamicsの性能を著しく損なう; この問題を改善するためにマルチスケールアプローチを活用し、このマルチ解像度アルゴリズムは世代における画像品質と計算コストのトレードオフを可能にすることを観察する。

関連論文リスト

• Space-local memory in generalized master equations: Reaching the thermodynamic limit for the cost of a small lattice simulation [0.0]
  本稿では,時間的テクティタント空間における有限メモリを利用した分散格子問題の多体ダイナミクスを効率的に予測する手法を提案する。 分散ホルスタインモデルにおける非平衡ポーラロン緩和と輸送に着目して, この手法の強度を実証する。
  論文  参考訳（メタデータ） (2024-11-13T13:30:03Z)
• Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
  平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。 また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
  論文  参考訳（メタデータ） (2023-12-02T13:01:29Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• A scalable deep learning approach for solving high-dimensional dynamic optimal transport [18.67654056717166]
  本研究では,高次元空間における動的最適輸送を解くためのディープラーニングに基づく手法を提案する。 本手法は,速度場を慎重に設計した表現,PDE制約の離散化,モンテカルロ法による高次元積分計算の3つの主成分を含む。
  論文  参考訳（メタデータ） (2022-05-16T08:56:05Z)
• Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs [65.18780403244178]
  動的グラフニューラル正規微分方程式(MTGODE)を用いた多変量時系列予測連続モデルを提案する。 具体的には、まず、時間進化するノードの特徴と未知のグラフ構造を持つ動的グラフに多変量時系列を抽象化する。 そして、欠落したグラフトポロジを補完し、空間的および時間的メッセージパッシングを統一するために、ニューラルODEを設計、解決する。
  論文  参考訳（メタデータ） (2022-02-17T02:17:31Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• The Limiting Dynamics of SGD: Modified Loss, Phase Space Oscillations, and Anomalous Diffusion [29.489737359897312]
  勾配降下法(SGD)を訓練した深部ニューラルネットワークの限界ダイナミクスについて検討する。 これらのダイナミクスを駆動する重要な要素は、本来のトレーニング損失ではなく、位相空間の振動を引き起こす速度と確率電流を暗黙的に規則化する修正損失の組み合わせであることを示す。
  論文  参考訳（メタデータ） (2021-07-19T20:18:57Z)
• Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
  最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。