論文の概要: Non-reversibly updating a uniform [0,1] value for Metropolis accept/reject decisions

• arxiv url: http://arxiv.org/abs/2001.11950v1
• Date: Fri, 31 Jan 2020 16:57:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 07:06:12.952820
• Title: Non-reversibly updating a uniform [0,1] value for Metropolis accept/reject decisions
• Title（参考訳）: Metropolis accept/reject決定の統一[0,1]値を非可逆的に更新する
• Authors: Radford M. Neal
• Abstract要約: 均一な[0,1]値とを比較して、メトロポリスが決定を受理/棄却することは、いかに有益かを示します。 HMC や Langevin の更新によって更新された連続変数のある問題に対して、Langevin は持続的な運動量を持ち、u サンプルに対する非可逆的な更新は HMC よりも 2 倍効率が良いことを実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: I show how it can be beneficial to express Metropolis accept/reject decisions in terms of comparison with a uniform [0,1] value, u, and to then update u non-reversibly, as part of the Markov chain state, rather than sampling it independently each iteration. This provides a small improvement for random walk Metropolis and Langevin updates in high dimensions. It produces a larger improvement when using Langevin updates with persistent momentum, giving performance comparable to that of Hamiltonian Monte Carlo (HMC) with long trajectories. This is of significance when some variables are updated by other methods, since if HMC is used, these updates can be done only between trajectories, whereas they can be done more often with Langevin updates. I demonstrate that for a problem with some continuous variables, updated by HMC or Langevin updates, and also discrete variables, updated by Gibbs sampling between updates of the continuous variables, Langevin with persistent momentum and non-reversible updates to u samples nearly a factor of two more efficiently than HMC. Benefits are also seen for a Bayesian neural network model in which hyperparameters are updated by Gibbs sampling.
• Abstract（参考訳）: 私は、メトロポリスが一様[0,1]値 u と比較して、u をマルコフ連鎖状態の一部として非可逆的に更新することで、各イテレーションを個別にサンプリングするのではなく、その決定の受け入れ/取り消しを表現できることを示します。 これにより、ランダムウォークメトロポリスとランゲヴィンのアップデートを高次元で改善する。 ランゲヴィン更新を持続的な運動量で使用することで、長い軌道を持つハミルトン・モンテ・カルロ (HMC) に匹敵する性能が得られる。 hmcが使用される場合、これらの更新は形容詞間でのみ行われるが、ランジュバンの更新ではより頻繁に実行されるため、これは他のメソッドによって更新される場合に重要である。 hmcまたはlangevinの更新によって更新されるいくつかの連続変数の問題と、連続変数の更新間でgibbsサンプリングによって更新される離散変数については、持続的なモーメントを持つlangevinと、hmcよりも約2倍効率の良いuサンプルに対する非可逆的な更新がある。 ギブスサンプリングによってハイパーパラメータが更新されるベイズ型ニューラルネットワークモデルにもメリットがある。

関連論文リスト

• Poisson-Gamma Dynamical Systems with Non-Stationary Transition Dynamics [54.19709905569658]
  非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。 後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。 実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-26T04:39:01Z)
• Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
  平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。 また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
  論文  参考訳（メタデータ） (2023-12-02T13:01:29Z)
• Learning variational autoencoders via MCMC speed measures [7.688686113950604]
  変分オートエンコーダ(VAE)は、確率に基づく生成モデルとして人気がある。 この研究は、短周期メトロポリス調整ランゲヴィン (MALA) やハミルトンモンテカルロ (HMC) のエントロピーに基づく適応を示唆している。 実験により、このアプローチは、高い保持率のログライクな状態と、生成指標の改善をもたらすことが示されている。
  論文  参考訳（メタデータ） (2023-08-26T02:15:51Z)
• INK: Injecting kNN Knowledge in Nearest Neighbor Machine Translation [57.952478914459164]
  kNN-MTは、推論中に隣接する表現に基づいて予測を円滑にするための効果的なパラダイムを提供する。 我々は,kNN近傍の表現を少数の新しいパラメータで調整することで,表現空間を円滑にするための効果的なトレーニングフレームワークINKを提案する。 4つのベンチマークデータセットでの実験では、メソッドは1.99 COMETと1.0 BLEUの平均ゲインを達成し、0.02倍のメモリ空間と1.9倍の推論速度を持つ最先端のkNN-MTシステムより優れていた。
  論文  参考訳（メタデータ） (2023-06-10T08:39:16Z)
• Robust Counterfactual Explanations for Neural Networks With Probabilistic Guarantees [18.98504694923301]
  微分可能なモデルに対する潜在的なモデル変化に対する反ファクトのロバスト性を定量化するために、emphStabilityと呼ぶ尺度を提案する。 我々の主な貢献は、十分に高いエンプスタビリティの反ファクトが、高い確率で自然に発生するモデルが変化した後も有効であることを示すことである。
  論文  参考訳（メタデータ） (2023-05-19T20:48:05Z)
• Projective Integral Updates for High-Dimensional Variational Inference [0.0]
  変分推論は、完全な後部に立つパラメータの簡易分布を最適化することにより、予測の不確実性を改善することを目指している。 この研究は、任意の可能なログ密度を与えられた基底から関数の線形結合として表現できる場合に適用可能な変分推論のための固定点最適化を導入する。 QNVBのPyTorch実装は、競合する方法よりも訓練中のモデルの不確実性をよりよく制御できる。
  論文  参考訳（メタデータ） (2023-01-20T00:38:15Z)
• Generative Time Series Forecasting with Diffusion, Denoise, and Disentanglement [51.55157852647306]
  時系列予測は多くのアプリケーションにおいて非常に重要な課題である。 実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。 本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2023-01-08T12:20:46Z)
• Modeling Randomly Walking Volatility with Chained Gamma Distributions [2.9574584850687042]
  正規ガンマとガンマ-ガンマの共役関係を利用する動的ベイズネットワークを構築する。 ダミーガンマノードを挿入した後、モデルによって表現されるボラティリティが独立した漸進過程であることを保証する。
  論文  参考訳（メタデータ） (2022-07-04T00:44:30Z)
• Structured Stochastic Gradient MCMC [20.68905354115655]
  近似した後方関数形式を仮定しない新しい非パラメトリック変分近似を提案する。 完全なSGMCMCよりも優れた予測可能性と有効試料サイズが得られる。
  論文  参考訳（メタデータ） (2021-07-19T17:18:10Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• Particle-Gibbs Sampling For Bayesian Feature Allocation Models [77.57285768500225]
  最も広く使われているMCMC戦略は、特徴割り当て行列のギブス更新に頼っている。 単一移動で特徴割り当て行列の全行を更新できるギブスサンプリング器を開発した。 このサンプルは、計算複雑性が特徴数で指数関数的にスケールするにつれて、多数の特徴を持つモデルにとって実用的ではない。 我々は,行ワイズギブズ更新と同じ分布を目標としたパーティクルギブズサンプルの開発を行うが,特徴数でのみ線形に増大する計算複雑性を有する。
  論文  参考訳（メタデータ） (2020-01-25T22:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。