論文の概要: Non-reversibly updating a uniform [0,1] value for Metropolis accept/reject decisions

• arxiv url: http://arxiv.org/abs/2001.11950v1
• Date: Fri, 31 Jan 2020 16:57:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 07:06:12.952820
• Title: Non-reversibly updating a uniform [0,1] value for Metropolis accept/reject decisions
• Title（参考訳）: Metropolis accept/reject決定の統一[0,1]値を非可逆的に更新する
• Authors: Radford M. Neal
• Abstract要約: 均一な[0,1]値とを比較して、メトロポリスが決定を受理/棄却することは、いかに有益かを示します。 HMC や Langevin の更新によって更新された連続変数のある問題に対して、Langevin は持続的な運動量を持ち、u サンプルに対する非可逆的な更新は HMC よりも 2 倍効率が良いことを実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: I show how it can be beneficial to express Metropolis accept/reject decisions in terms of comparison with a uniform [0,1] value, u, and to then update u non-reversibly, as part of the Markov chain state, rather than sampling it independently each iteration. This provides a small improvement for random walk Metropolis and Langevin updates in high dimensions. It produces a larger improvement when using Langevin updates with persistent momentum, giving performance comparable to that of Hamiltonian Monte Carlo (HMC) with long trajectories. This is of significance when some variables are updated by other methods, since if HMC is used, these updates can be done only between trajectories, whereas they can be done more often with Langevin updates. I demonstrate that for a problem with some continuous variables, updated by HMC or Langevin updates, and also discrete variables, updated by Gibbs sampling between updates of the continuous variables, Langevin with persistent momentum and non-reversible updates to u samples nearly a factor of two more efficiently than HMC. Benefits are also seen for a Bayesian neural network model in which hyperparameters are updated by Gibbs sampling.
• Abstract（参考訳）: 私は、メトロポリスが一様[0,1]値 u と比較して、u をマルコフ連鎖状態の一部として非可逆的に更新することで、各イテレーションを個別にサンプリングするのではなく、その決定の受け入れ/取り消しを表現できることを示します。 これにより、ランダムウォークメトロポリスとランゲヴィンのアップデートを高次元で改善する。 ランゲヴィン更新を持続的な運動量で使用することで、長い軌道を持つハミルトン・モンテ・カルロ (HMC) に匹敵する性能が得られる。 hmcが使用される場合、これらの更新は形容詞間でのみ行われるが、ランジュバンの更新ではより頻繁に実行されるため、これは他のメソッドによって更新される場合に重要である。 hmcまたはlangevinの更新によって更新されるいくつかの連続変数の問題と、連続変数の更新間でgibbsサンプリングによって更新される離散変数については、持続的なモーメントを持つlangevinと、hmcよりも約2倍効率の良いuサンプルに対する非可逆的な更新がある。 ギブスサンプリングによってハイパーパラメータが更新されるベイズ型ニューラルネットワークモデルにもメリットがある。

関連論文リスト

• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Fearless Stochasticity in Expectation Propagation [20.77026826229894]
  我々は期待伝播(EP)のモーメントマッチング更新に関する新しい視点を提供する。 この洞察を用いて、2つの新しいEP変種を動機付け、特にモンテカルロ推定に適した更新を行う。 特に、チューニングが容易で、スピード精度の向上されたトレードオフを提供し、デバイアス推定器の使用に依存しない。
  論文  参考訳（メタデータ） (2024-06-03T21:42:06Z)
• Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
  平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。 また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
  論文  参考訳（メタデータ） (2023-12-02T13:01:29Z)
• Learning variational autoencoders via MCMC speed measures [7.688686113950604]
  変分オートエンコーダ(VAE)は、確率に基づく生成モデルとして人気がある。 この研究は、短周期メトロポリス調整ランゲヴィン (MALA) やハミルトンモンテカルロ (HMC) のエントロピーに基づく適応を示唆している。 実験により、このアプローチは、高い保持率のログライクな状態と、生成指標の改善をもたらすことが示されている。
  論文  参考訳（メタデータ） (2023-08-26T02:15:51Z)
• INK: Injecting kNN Knowledge in Nearest Neighbor Machine Translation [57.952478914459164]
  kNN-MTは、推論中に隣接する表現に基づいて予測を円滑にするための効果的なパラダイムを提供する。 我々は,kNN近傍の表現を少数の新しいパラメータで調整することで,表現空間を円滑にするための効果的なトレーニングフレームワークINKを提案する。 4つのベンチマークデータセットでの実験では、メソッドは1.99 COMETと1.0 BLEUの平均ゲインを達成し、0.02倍のメモリ空間と1.9倍の推論速度を持つ最先端のkNN-MTシステムより優れていた。
  論文  参考訳（メタデータ） (2023-06-10T08:39:16Z)
• Projective Integral Updates for High-Dimensional Variational Inference [0.0]
  変分推論は、完全な後部に立つパラメータの簡易分布を最適化することにより、予測の不確実性を改善することを目指している。 この研究は、任意の可能なログ密度を与えられた基底から関数の線形結合として表現できる場合に適用可能な変分推論のための固定点最適化を導入する。 QNVBのPyTorch実装は、競合する方法よりも訓練中のモデルの不確実性をよりよく制御できる。
  論文  参考訳（メタデータ） (2023-01-20T00:38:15Z)
• Generative Time Series Forecasting with Diffusion, Denoise, and Disentanglement [51.55157852647306]
  時系列予測は多くのアプリケーションにおいて非常に重要な課題である。 実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。 本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2023-01-08T12:20:46Z)
• Modeling Randomly Walking Volatility with Chained Gamma Distributions [2.9574584850687042]
  正規ガンマとガンマ-ガンマの共役関係を利用する動的ベイズネットワークを構築する。 ダミーガンマノードを挿入した後、モデルによって表現されるボラティリティが独立した漸進過程であることを保証する。
  論文  参考訳（メタデータ） (2022-07-04T00:44:30Z)
• Structured Stochastic Gradient MCMC [20.68905354115655]
  近似した後方関数形式を仮定しない新しい非パラメトリック変分近似を提案する。 完全なSGMCMCよりも優れた予測可能性と有効試料サイズが得られる。
  論文  参考訳（メタデータ） (2021-07-19T17:18:10Z)
• Particle-Gibbs Sampling For Bayesian Feature Allocation Models [77.57285768500225]
  最も広く使われているMCMC戦略は、特徴割り当て行列のギブス更新に頼っている。 単一移動で特徴割り当て行列の全行を更新できるギブスサンプリング器を開発した。 このサンプルは、計算複雑性が特徴数で指数関数的にスケールするにつれて、多数の特徴を持つモデルにとって実用的ではない。 我々は,行ワイズギブズ更新と同じ分布を目標としたパーティクルギブズサンプルの開発を行うが,特徴数でのみ線形に増大する計算複雑性を有する。
  論文  参考訳（メタデータ） (2020-01-25T22:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。