論文の概要: Hamiltonian Dynamics with Non-Newtonian Momentum for Rapid Sampling

• arxiv url: http://arxiv.org/abs/2111.02434v1
• Date: Wed, 3 Nov 2021 18:00:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-05 15:48:37.793653
• Title: Hamiltonian Dynamics with Non-Newtonian Momentum for Rapid Sampling
• Title（参考訳）: 高速サンプリングのための非ニュートンモーメントを用いたハミルトン動力学
• Authors: Greg Ver Steeg and Aram Galstyan
• Abstract要約: 非正規化確率分布からのサンプリングは機械学習の基本的な問題である。 非ニュートン運動量を持つ新しいハミルトン力学を用いて、この問題に対する根本的に異なるアプローチを提案する。 ハミルトニアン・モンテカルロのようなMCMCアプローチとは対照的に、ステップは不要である。代わりに、対象分布を正確にサンプリングする拡張状態空間における決定論的ダイナミクスが提案される。
• 参考スコア（独自算出の注目度）: 38.367354572578314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling from an unnormalized probability distribution is a fundamental problem in machine learning with applications including Bayesian modeling, latent factor inference, and energy-based model training. After decades of research, variations of MCMC remain the default approach to sampling despite slow convergence. Auxiliary neural models can learn to speed up MCMC, but the overhead for training the extra model can be prohibitive. We propose a fundamentally different approach to this problem via a new Hamiltonian dynamics with a non-Newtonian momentum. In contrast to MCMC approaches like Hamiltonian Monte Carlo, no stochastic step is required. Instead, the proposed deterministic dynamics in an extended state space exactly sample the target distribution, specified by an energy function, under an assumption of ergodicity. Alternatively, the dynamics can be interpreted as a normalizing flow that samples a specified energy model without training. The proposed Energy Sampling Hamiltonian (ESH) dynamics have a simple form that can be solved with existing ODE solvers, but we derive a specialized solver that exhibits much better performance. ESH dynamics converge faster than their MCMC competitors enabling faster, more stable training of neural network energy models.
• Abstract（参考訳）: 非正規化確率分布からのサンプリングは、ベイズモデル、潜在因子推論、エネルギーベースモデルトレーニングなどを含む機械学習の基本的な問題である。 数十年にわたる研究の後、MCMCのバリエーションは、収束が遅いにもかかわらずサンプリングのデフォルトのアプローチのままである。 補助的ニューラルモデルはMCMCの高速化を学ぶことができるが、追加モデルのトレーニングのオーバーヘッドは禁じることができる。 非ニュートン運動量を持つ新しいハミルトン力学を用いて、この問題に対する根本的に異なるアプローチを提案する。 ハミルトニアン・モンテカルロのようなMCMCアプローチとは対照的に、確率的なステップは不要である。 代わりに、拡張状態空間における決定論的力学は、エルゴディディティの仮定の下でエネルギー関数によって指定されたターゲット分布を正確にサンプリングする。 あるいは、ダイナミクスはトレーニングなしで特定のエネルギーモデルをサンプリングする正規化フローとして解釈できる。 提案したEnergy Sampling Hamiltonian (ESH) 力学は、既存のODEソルバで解ける単純な形式を持つが、より優れた性能を示す特殊な解法を導出する。 ESHダイナミクスは、より高速で安定したニューラルネットワークエネルギーモデルのトレーニングを可能にするMCMC競合よりも早く収束する。

関連論文リスト

• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• Repelling-Attracting Hamiltonian Monte Carlo [0.8158530638728501]
  我々は、ハミルトニアンモンテカルロの変種(Repelling-Attracting Hamiltonian Monte Carlo (RAHMC))を提案する。 RAHMCには2つのステージがある: サンプルが高確率密度の領域から遠ざかるように促すモード推進段階と、サンプルが代替モードに近づいたり落ち着いたりするためのモード抽出段階である。
  論文  参考訳（メタデータ） (2024-03-07T15:54:55Z)
• Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
  非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。 本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-05T00:23:34Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Model-based Reinforcement Learning with a Hamiltonian Canonical ODE Network [31.822404891887984]
  我々は、学習過程にハミルトン標準常微分方程式を導入し、ニューラル常微分オートエンコーダ(NODA)の新しいモデルを生み出した。 NODAは自然界をモデル化することができ、ハミルトン力学を課すのに柔軟である。 少量のサンプルを用いて、ロバストな外挿でRL剤を連続的に増強することができる。
  論文  参考訳（メタデータ） (2022-11-02T08:03:21Z)
• Particle Dynamics for Learning EBMs [83.59335980576637]
  エネルギーベースモデリングは教師なし学習への有望なアプローチであり、単一のモデルから多くの下流アプリケーションを生み出す。 コントラスト的アプローチ(contrastive approach)"でエネルギーベースモデルを学習する際の主な困難は、各イテレーションで現在のエネルギー関数からサンプルを生成することである。 本稿では,これらのサンプルを取得し,現行モデルからの粗大なMCMCサンプリングを回避するための代替手法を提案する。
  論文  参考訳（メタデータ） (2021-11-26T23:41:07Z)
• EBMs Trained with Maximum Likelihood are Generator Models Trained with a Self-adverserial Loss [6.445605125467574]
  Langevin ダイナミクスを関連する勾配降下 ODE の決定論的解に置き換えます。 本研究は, 動的騒音の再導入は, 動作の質的変化に繋がらないことを示す。 そこで, EBMトレーニングは, 最大確率推定よりも, 事実上自己反逆的処置であることを示す。
  論文  参考訳（メタデータ） (2021-02-23T15:34:12Z)
• No MCMC for me: Amortized sampling for fast and stable training of energy-based models [62.1234885852552]
  エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。 本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。 次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
  論文  参考訳（メタデータ） (2020-10-08T19:17:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。