論文の概要: Backpropagation-Free Metropolis-Adjusted Langevin Algorithm

• arxiv url: http://arxiv.org/abs/2505.18081v1
• Date: Fri, 23 May 2025 16:39:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.226253
• Title: Backpropagation-Free Metropolis-Adjusted Langevin Algorithm
• Title（参考訳）: バックプロパゲーションフリーメトロポリス調整ランゲヴィンアルゴリズム
• Authors: Adam D. Cobb, Susmit Jha,
• Abstract要約: タンジェントベクトルのサンプリングをメトロポリス調整ランゲヴィンアルゴリズム(MALA)の提案機構に組み込む方法を示す。 バックプロパゲーションフリーな勾配に基づくマルコフ連鎖モンテカルロアルゴリズムを最初に導入する。 提案するアルゴリズムは,フォワードMALA,ラインフォワードMALA,プリコンディションMALA,ラインフォワードMALAの4種類である。
• 参考スコア（独自算出の注目度）: 13.032984331926158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work on backpropagation-free learning has shown that it is possible to use forward-mode automatic differentiation (AD) to perform optimization on differentiable models. Forward-mode AD requires sampling a tangent vector for each forward pass of a model. The result is the model evaluation with the directional derivative along the tangent. In this paper, we illustrate how the sampling of this tangent vector can be incorporated into the proposal mechanism for the Metropolis-Adjusted Langevin Algorithm (MALA). As such, we are the first to introduce a backpropagation-free gradient-based Markov chain Monte Carlo (MCMC) algorithm. We also extend to a novel backpropagation-free position-specific preconditioned forward-mode MALA that leverages Hessian information. Overall, we propose four new algorithms: Forward MALA; Line Forward MALA; Pre-conditioned Forward MALA, and Pre-conditioned Line Forward MALA. We highlight the reduced computational cost of the forward-mode samplers and show that forward-mode is competitive with the original MALA, while even outperforming it depending on the probabilistic model. We include Bayesian inference results on a range of probabilistic models, including hierarchical distributions and Bayesian neural networks.
• Abstract（参考訳）: 近年のバックプロパゲーションフリー学習の研究は、フォワードモード自動微分(AD)を用いて微分可能モデルの最適化を行うことが可能であることが示されている。 フォワードモードADは、モデルのフォワードパス毎に接ベクトルをサンプリングする必要がある。 その結果,タンジェントに沿った方向微分を用いたモデル評価が得られた。 本稿では,このタンジェントベクトルのサンプリングをメトロポリス調整ランゲヴィンアルゴリズム (MALA) の提案機構に組み込む方法について述べる。 このようにして、バックプロパゲーションフリーな勾配に基づくマルコフ連鎖モンテカルロ (MCMC) アルゴリズムを導入するのは初めてである。 我々はまた、ヘッセン情報を活用する、新しいバックプロパゲーションフリー位置特定前方モードMALAにも拡張する。 提案するアルゴリズムは,フォワードMALA,ラインフォワードMALA,プリコンディションMALA,ラインフォワードMALAの4種類である。 我々は、フォワードモードサンプリング器の計算コストの削減を強調し、フォワードモードが元のMALAと競合することを示した。 階層分布やベイズニューラルネットワークなど,様々な確率モデルに対するベイズ推定結果を含める。

関連論文リスト

• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• A probabilistic, data-driven closure model for RANS simulations with aleatoric, model uncertainty [1.8416014644193066]
  本稿では,レノルズ平均Navier-Stokes (RANS) シミュレーションのためのデータ駆動閉包モデルを提案する。 パラメトリック閉包が不十分な問題領域内の領域を特定するために,完全ベイズ的定式化と余剰誘導先行法を組み合わせて提案する。
  論文  参考訳（メタデータ） (2023-07-05T16:53:31Z)
• Object based Bayesian full-waveform inversion for shear elastography [0.0]
  組織中の異常画像のせん断エラストグラフィーにおける不確かさを定量化する計算手法を開発した。 パラメータフィールドの後方確率は異常の幾何とそのせん断率を表わす。 滑らかで不規則な形状の合成2次元試験に対するアプローチを実証する。
  論文  参考訳（メタデータ） (2023-05-11T08:25:25Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
  PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
  論文  参考訳（メタデータ） (2022-05-12T11:15:47Z)
• A new perspective on probabilistic image modeling [92.89846887298852]
  本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。 DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。 本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
  論文  参考訳（メタデータ） (2022-03-21T14:53:57Z)
• Structured Stochastic Gradient MCMC [20.68905354115655]
  近似した後方関数形式を仮定しない新しい非パラメトリック変分近似を提案する。 完全なSGMCMCよりも優れた予測可能性と有効試料サイズが得られる。
  論文  参考訳（メタデータ） (2021-07-19T17:18:10Z)
• Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
  FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。 我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
  論文  参考訳（メタデータ） (2019-12-30T17:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。