論文の概要: Deep Involutive Generative Models for Neural MCMC

• arxiv url: http://arxiv.org/abs/2006.15167v2
• Date: Thu, 2 Jul 2020 15:42:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 20:37:55.026075
• Title: Deep Involutive Generative Models for Neural MCMC
• Title（参考訳）: ニューラルmcmcのための深部インボリューティブ生成モデル
• Authors: Span Spanbauer, Cameron Freer, Vikash Mansinghka
• Abstract要約: Involutive Neural MCMCを定義するために,Deep Involutive Generative ModelとDeep Generative Modelingの新しいアーキテクチャを導入する。 本稿では、これらのモデルによるボリューム保存の方法と、深部保存型インボリューティブな生成モデルを用いてMetropolis-Hastingsを効果的に更新する方法を示す。
• 参考スコア（独自算出の注目度）: 3.6739949215165164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce deep involutive generative models, a new architecture for deep generative modeling, and use them to define Involutive Neural MCMC, a new approach to fast neural MCMC. An involutive generative model represents a probability kernel $G(\phi \mapsto \phi')$ as an involutive (i.e., self-inverting) deterministic function $f(\phi, \pi)$ on an enlarged state space containing auxiliary variables $\pi$. We show how to make these models volume preserving, and how to use deep volume-preserving involutive generative models to make valid Metropolis-Hastings updates based on an auxiliary variable scheme with an easy-to-calculate acceptance ratio. We prove that deep involutive generative models and their volume-preserving special case are universal approximators for probability kernels. This result implies that with enough network capacity and training time, they can be used to learn arbitrarily complex MCMC updates. We define a loss function and optimization algorithm for training parameters given simulated data. We also provide initial experiments showing that Involutive Neural MCMC can efficiently explore multi-modal distributions that are intractable for Hybrid Monte Carlo, and can converge faster than A-NICE-MC, a recently introduced neural MCMC technique.
• Abstract（参考訳）: Involutive Neural MCMC(Involutive Neural MCMC)を高速なニューラルMCMCの新しいアプローチとして定義するために,Deep Involutive Generative ModelとDeep Generative Modelingの新しいアーキテクチャを導入している。 帰納的生成モデル (involutive generative model) は、確率核 $g(\phi \mapsto \phi')$ を、補助変数 $\pi$ を含む拡大状態空間上の帰納的決定関数 $f(\phi, \pi)$ として表現する。 そこで本研究では,これらのモデルのボリューム保存方法と,さらに深いボリューム保存型インボラティブ生成モデルを用いて,適切なメトロポリス・ハスティング更新を行う方法を示す。 深部インボリューティブ生成モデルとその体積保存特例が確率核の普遍近似であることを示す。 これにより、十分なネットワーク容量とトレーニング時間があれば、任意の複雑なMCMC更新を学習することができる。 シミュレーションデータを用いた学習パラメータの損失関数と最適化アルゴリズムを定義する。 また, ハイブリッドモンテカルロでは難解なマルチモーダル分布を効率的に探索し, 最近導入したニューラルmcmc技術であるa-nice-mcよりも高速に収束できることを示す実験を行った。

関連論文リスト

• Train Faster, Perform Better: Modular Adaptive Training in Over-Parameterized Models [31.960749305728488]
  モジュラーニューラルタンジェントカーネル(mNTK)と呼ばれる新しい概念を導入する。 モジュールの学習の質が mNTK の主固有値 $lambda_max$ と密接に関連していることを示す。 動的しきい値を超えたlambda_max$でこれらのモジュールを更新するための,MAT(Modular Adaptive Training)と呼ばれる新しいトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-13T07:46:48Z)
• Gaussian Process Neural Additive Models [3.7969209746164325]
  ランダムフーリエ特徴を用いたガウス過程の単一層ニューラルネットワーク構築を用いたニューラル付加モデル(NAM)の新たなサブクラスを提案する。 GP-NAMは凸目的関数と、特徴次元と線形に成長する訓練可能なパラメータの数が有利である。 GP-NAMは,パラメータ数を大幅に削減して,分類タスクと回帰タスクの両方において,同等あるいはより優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-19T20:29:34Z)
• Generative Marginalization Models [21.971818180264943]
  境界化モデル(英: marginalization model、MAM)は、高次元離散データのための新しい生成モデルである。 それらは、すべての誘導された限界分布を明示的にモデル化することによって、スケーラブルで柔軟な生成モデリングを提供する。 エネルギーベースのトレーニングタスクでは、MAMは従来の方法のスケールを超える高次元問題の任意の順序生成モデリングを可能にする。
  論文  参考訳（メタデータ） (2023-10-19T17:14:29Z)
• SE(3)-Stochastic Flow Matching for Protein Backbone Generation [54.951832422425454]
  我々はFoldFlowを紹介した。FoldFlowは,3mathrmD$の剛性運動に対するフローマッチングパラダイムに基づく,モデリング能力向上のための新しい生成モデルである。 FoldFlow生成モデルのファミリーは、タンパク質の生成モデルに対する従来のアプローチよりもいくつかの利点を提供している。
  論文  参考訳（メタデータ） (2023-10-03T19:24:24Z)
• Fast variable selection makes scalable Gaussian process BSS-ANOVA a speedy and accurate choice for tabular and time series regression [0.0]
  ガウス過程 (GP) は長い歴史を持つ非パラメトリック回帰エンジンである。 拡張性のあるGPアプローチの1つは、2009年に開発されたKL(Karhunen-Lo'eve)分解カーネルBSS-ANOVAである。 項の数を迅速かつ効果的に制限し、競争力のある精度の方法をもたらす新しい変数選択法である。
  論文  参考訳（メタデータ） (2022-05-26T23:41:43Z)
• A new perspective on probabilistic image modeling [92.89846887298852]
  本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。 DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。 本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
  論文  参考訳（メタデータ） (2022-03-21T14:53:57Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• Structured Stochastic Gradient MCMC [20.68905354115655]
  近似した後方関数形式を仮定しない新しい非パラメトリック変分近似を提案する。 完全なSGMCMCよりも優れた予測可能性と有効試料サイズが得られる。
  論文  参考訳（メタデータ） (2021-07-19T17:18:10Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。