論文の概要: Particle Dynamics for Learning EBMs

• arxiv url: http://arxiv.org/abs/2111.13772v1
• Date: Fri, 26 Nov 2021 23:41:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-30 15:16:47.922969
• Title: Particle Dynamics for Learning EBMs
• Title（参考訳）: EBM学習のための粒子動力学
• Authors: Kirill Neklyudov, Priyank Jaini, Max Welling
• Abstract要約: エネルギーベースモデリングは教師なし学習への有望なアプローチであり、単一のモデルから多くの下流アプリケーションを生み出す。 コントラスト的アプローチ(contrastive approach)"でエネルギーベースモデルを学習する際の主な困難は、各イテレーションで現在のエネルギー関数からサンプルを生成することである。 本稿では,これらのサンプルを取得し,現行モデルからの粗大なMCMCサンプリングを回避するための代替手法を提案する。
• 参考スコア（独自算出の注目度）: 83.59335980576637
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Energy-based modeling is a promising approach to unsupervised learning, which yields many downstream applications from a single model. The main difficulty in learning energy-based models with the "contrastive approaches" is the generation of samples from the current energy function at each iteration. Many advances have been made to accomplish this subroutine cheaply. Nevertheless, all such sampling paradigms run MCMC targeting the current model, which requires infinitely long chains to generate samples from the true energy distribution and is problematic in practice. This paper proposes an alternative approach to getting these samples and avoiding crude MCMC sampling from the current model. We accomplish this by viewing the evolution of the modeling distribution as (i) the evolution of the energy function, and (ii) the evolution of the samples from this distribution along some vector field. We subsequently derive this time-dependent vector field such that the particles following this field are approximately distributed as the current density model. Thereby we match the evolution of the particles with the evolution of the energy function prescribed by the learning procedure. Importantly, unlike Monte Carlo sampling, our method targets to match the current distribution in a finite time. Finally, we demonstrate its effectiveness empirically compared to MCMC-based learning methods.
• Abstract（参考訳）: エネルギーベースのモデリングは教師なし学習に有望なアプローチであり、単一のモデルから多くの下流アプリケーションを生み出す。 コントラッシブアプローチ(contrastive approach)"でエネルギーベースのモデルを学ぶことの難しさは、各イテレーションで現在のエネルギー関数からサンプルを生成することである。 このサブルーチンを安価に達成するために多くの進歩がなされている。 しかしながら、これらのサンプリングパラダイムはMCMCが現在のモデルをターゲットにしており、真のエネルギー分布からサンプルを生成するには無限に長い鎖を必要とする。 本稿では,これらのサンプルを取得し,現行モデルからの粗MCMCサンプリングを回避するための代替手法を提案する。 我々はモデリング分布の進化を観察することでこれを達成している。 (i)エネルギー関数の進化、 (ii)あるベクトル場に沿ったこの分布からのサンプルの進化。 その後、この時間依存ベクトル場を導出し、この場に続く粒子は電流密度モデルとしておおむね分布する。 これにより、粒子の進化と学習手順によって規定されるエネルギー関数の進化とを一致させる。 重要な点は,モンテカルロサンプリングと異なり,電流分布を有限時間で一致させることである。 最後に,MCMCに基づく学習手法と比較し,その効果を実証的に示す。

関連論文リスト

• Conditional Synthesis of 3D Molecules with Time Correction Sampler [58.0834973489875]
  Time-Aware Conditional Synthesis (TACS) は拡散モデルにおける条件生成の新しい手法である。 適応的に制御されたプラグアンドプレイの"オンライン"ガイダンスを拡散モデルに統合し、サンプルを所望の特性に向けて駆動する。
  論文  参考訳（メタデータ） (2024-11-01T12:59:25Z)
• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• Generalized Contrastive Divergence: Joint Training of Energy-Based Model and Diffusion Model through Inverse Reinforcement Learning [13.22531381403974]
  Generalized Contrastive Divergence (GCD) はエネルギーベースモデル(EBM)とサンプルを同時にトレーニングするための新しい目的関数である。 EBMと拡散モデルの両方にジョイントトレーニングが有用であることを示す予備的かつ有望な結果を示す。
  論文  参考訳（メタデータ） (2023-12-06T10:10:21Z)
• STANLEY: Stochastic Gradient Anisotropic Langevin Dynamics for Learning Energy-Based Models [41.031470884141775]
  エネルギーベースモデル(EBM)のためのエンドツーエンド学習アルゴリズムを提案する。 本稿では、異方性段差と勾配インフォームド共分散行列に基づく新しい高次元サンプリング法を提案する。 提案手法,すなわちSTANLEYは,新しいMCMC法を用いてエネルギーベースモデルを学習するための最適化アルゴリズムである。
  論文  参考訳（メタデータ） (2023-10-19T11:55:16Z)
• Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
  非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。 本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-05T00:23:34Z)
• MCMC-Correction of Score-Based Diffusion Models for Model Composition [2.682859657520006]
  拡散モデルは、スコアまたはエネルギー関数のどちらかの観点からパラメータ化することができる。 本稿では,エネルギーモデルにインスパイアされたスコアパラメータ化と受理確率の計算を提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:50:41Z)
• Reduce, Reuse, Recycle: Compositional Generation with Energy-Based Diffusion Models and MCMC [102.64648158034568]
  拡散モデルは、多くの領域において、生成モデリングの一般的なアプローチとなっている。 本稿では,新しい構成演算子の利用を可能にする拡散モデルのエネルギーベースパラメータ化を提案する。 これらのサンプルは、幅広い問題にまたがって構成生成の顕著な改善につながっている。
  論文  参考訳（メタデータ） (2023-02-22T18:48:46Z)
• Learning Energy-Based Model with Variational Auto-Encoder as Amortized Sampler [35.80109055748496]
  最大確率でエネルギーベースモデル(ebms)を訓練するにはマルコフ連鎖モンテカルロサンプリングが必要である。 我々は、エネルギー関数から派生したランゲビンダイナミクスのような有限ステップMCMCを初期化する変分オートエンコーダ(VAE)を学びます。 これらのアモールト化MCMCサンプルにより、ESMは「合成による分析」スキームに従って最大で訓練することができる。 我々はこの共同学習アルゴリズムを変分MCMC教育と呼び、VAEはEMMをデータ分布に向けて追従する。
  論文  参考訳（メタデータ） (2020-12-29T20:46:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。