論文の概要: Differentiating Metropolis-Hastings to Optimize Intractable Densities

• arxiv url: http://arxiv.org/abs/2306.07961v2
• Date: Fri, 16 Jun 2023 12:36:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 16:56:33.704309
• Title: Differentiating Metropolis-Hastings to Optimize Intractable Densities
• Title（参考訳）: 難治性密度を最適化するメトロポリスハスティングの差別化
• Authors: Gaurav Arya, Ruben Seyer, Frank Sch\"afer, Alexander K. Lew, Mathieu Huot, Vikash K. Mansinghka, Chris Rackauckas, Kartik Chandra and Moritz Schauer
• Abstract要約: 本研究では,メトロポリス・ハスティングス・サンプリング装置の非偏微分手法を開発した。 難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
• 参考スコア（独自算出の注目度）: 49.409359136528536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When performing inference on probabilistic models, target densities often become intractable, necessitating the use of Monte Carlo samplers. We develop a methodology for unbiased differentiation of the Metropolis-Hastings sampler, allowing us to differentiate through probabilistic inference. By fusing recent advances in stochastic differentiation with Markov chain coupling schemes, the procedure can be made unbiased, low-variance, and automatic. This allows us to apply gradient-based optimization to objectives expressed as expectations over intractable target densities. We demonstrate our approach by finding an ambiguous observation in a Gaussian mixture model and by maximizing the specific heat in an Ising model.
• Abstract（参考訳）: 確率モデル上で推論を行う場合、ターゲット密度はしばしば難解となり、モンテカルロサンプリング器の使用が必要となる。 本研究では,メトロポリス・ハスティングス・サンプリング器の非偏微分手法を開発し,確率的推論による微分を可能にする。 マルコフ連鎖カップリングスキームによる確率微分の最近の進歩を融合させることで、この手順を不偏、低分散、自動化することができる。 これにより、難解なターゲット密度に対する期待として表現された目的に勾配に基づく最適化を適用することができる。 本研究では,ガウス混合モデルにおける不明瞭な観測とイジングモデルにおける比熱の最大化によるアプローチを示す。

関連論文リスト

• Improving Probabilistic Diffusion Models With Optimal Covariance Matching [27.2761325416843]
  対角的共分散を学習するための新しい手法を提案する。 提案手法は,拡散モデルと潜伏拡散モデルの両方のサンプリング効率,リコール率,および可能性を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-06-16T05:47:12Z)
• Covariance-Adaptive Sequential Black-box Optimization for Diffusion Targeted Generation [60.41803046775034]
  ユーザのブラックボックス目標スコアのみを用いた拡散モデルを用いて,ユーザ優先のターゲット生成を行う方法を示す。 数値実験問題と目標誘導型3次元分子生成タスクの両方の実験により,より優れた目標値を得る上で,本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2024-06-02T17:26:27Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Adaptive Perturbation-Based Gradient Estimation for Discrete Latent Variable Models [28.011868604717726]
  複素離散分布に対する適応勾配推定器であるAdaptive IMLEを提案する。 我々の推定器は、他の勾配推定器よりも桁違いに少ないサンプルを必要とする一方で、忠実な推定を行うことができることを示す。
  論文  参考訳（メタデータ） (2022-09-11T13:32:39Z)
• A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
  均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。 提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:51:10Z)
• Model Selection for Bayesian Autoencoders [25.619565817793422]
  本稿では,オートエンコーダの出力と経験的データ分布との分散スライス-ワッサーシュタイン距離を最適化することを提案する。 我々のBAEは、フレキシブルなディリクレ混合モデルを潜在空間に適合させることにより、生成モデルに変換する。 我々は,教師なしの学習課題に対する膨大な実験的キャンペーンを質的かつ定量的に評価し,先行研究が重要となる小規模データ体制において,我々のアプローチが最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-06-11T08:55:00Z)
• Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
  このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。 また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
  論文  参考訳（メタデータ） (2021-02-08T20:08:50Z)
• Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains [34.77971292478243]
  変分オートエンコーダ(VAE)は、オートエンコーダのようなアーキテクチャで2つのニューラルネットワークを持つ、潜伏変数モデルである。 ログ型勾配の偏りのない推定器を導入することにより,VAEのトレーニング手法を開発する。 偏りのない推定器を装着したVAEは予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-10-05T08:11:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。