論文の概要: A Neural Network MCMC sampler that maximizes Proposal Entropy

• arxiv url: http://arxiv.org/abs/2010.03587v1
• Date: Wed, 7 Oct 2020 18:01:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 22:55:50.943994
• Title: A Neural Network MCMC sampler that maximizes Proposal Entropy
• Title（参考訳）: 提案エントロピーを最大化するニューラルネットワークMCMCサンプリング器
• Authors: Zengyi Li, Yubei Chen, Friedrich T. Sommer
• Abstract要約: ニューラルネットワークでサンプルを増強することで、効率が向上する可能性がある。 我々のネットワークアーキテクチャは、ターゲット分布の勾配を利用して提案を生成する。 適応型サンプリング器はランゲヴィン力学サンプリング器よりもはるかに高い提案エントロピーで非バイアスサンプリングを実現する。
• 参考スコア（独自算出の注目度）: 3.4698840925433765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Markov Chain Monte Carlo (MCMC) methods sample from unnormalized probability distributions and offer guarantees of exact sampling. However, in the continuous case, unfavorable geometry of the target distribution can greatly limit the efficiency of MCMC methods. Augmenting samplers with neural networks can potentially improve their efficiency. Previous neural network based samplers were trained with objectives that either did not explicitly encourage exploration, or used a L2 jump objective which could only be applied to well structured distributions. Thus it seems promising to instead maximize the proposal entropy for adapting the proposal to distributions of any shape. To allow direct optimization of the proposal entropy, we propose a neural network MCMC sampler that has a flexible and tractable proposal distribution. Specifically, our network architecture utilizes the gradient of the target distribution for generating proposals. Our model achieves significantly higher efficiency than previous neural network MCMC techniques in a variety of sampling tasks. Further, the sampler is applied on training of a convergent energy-based model of natural images. The adaptive sampler achieves unbiased sampling with significantly higher proposal entropy than Langevin dynamics sampler.
• Abstract（参考訳）: マルコフ連鎖モンテカルロ (mcmc) は非正規化確率分布からサンプルを抽出し、正確なサンプリングの保証を提供する。 しかし、連続の場合、目標分布の好ましくない幾何はMCMC法の効率を大幅に制限することができる。 ニューラルネットワークでサンプルを増強することで、効率が向上する可能性がある。 以前のニューラルネットワークベースのサンプルは、明示的に探索を奨励しない目的や、十分に構造化された分布にのみ適用可能なL2ジャンプ目標を用いて訓練された。 したがって、任意の形状の分布に提案を適用するための提案エントロピーを最大化することが期待できる。 提案エントロピーの直接最適化を実現するために,フレキシブルかつトラクタブルな提案分布を持つニューラルネットワークMCMCサンプリング器を提案する。 具体的には、ターゲット分布の勾配を利用して提案を行う。 本モデルは,各種サンプリングタスクにおいて,従来のニューラルネットワークMCMC技術よりもはるかに高い効率を実現する。 さらに、サンプラーは、自然画像の収束エネルギーに基づくモデルの訓練に適用される。 適応サンプリング器はランゲヴィン力学サンプリング器よりも非常に高い提案エントロピーで非バイアスサンプリングを実現する。

関連論文リスト

• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• A Block Metropolis-Hastings Sampler for Controllable Energy-based Text Generation [78.81021361497311]
  我々は,大規模言語モデルの反復的プロンプトを通じて,各ステップにおけるシーケンス全体の書き直しを提案する新しいメトロポリス・ハスティングス(MH)サンプリング器を開発した。 対象分布からより効率的かつ正確なサンプリングが可能となり, (b) 事前に固定するのではなく, サンプリング手順により生成長を決定することが可能となった。
  論文  参考訳（メタデータ） (2023-12-07T18:30:15Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Entropy-based Training Methods for Scalable Neural Implicit Sampler [15.978655106034113]
  非正規化対象分布からの効率的なサンプリングは、科学計算と機械学習の基本的な問題である。 本稿では,これらの制約を克服する,効率的でスケーラブルなニューラル暗黙サンプリング手法を提案する。 提案手法では, 提案手法を応用して, 提案手法を用いることにより, 精度の低い大量のサンプルを生成できる。
  論文  参考訳（メタデータ） (2023-06-08T05:56:05Z)
• Estimating Regression Predictive Distributions with Sample Networks [17.935136717050543]
  モデル不確実性に対する一般的なアプローチは、パラメトリック分布を選択し、最大推定を用いてデータに適合させることである。 選択されたパラメトリック形式は、データ生成分布に不適合であり、信頼できない不確実性推定をもたらす。 出力分布にパラメトリック形式を指定することを避けるため,不確実性をモデル化するためのフレキシブルでスケーラブルなアーキテクチャであるSampleNetを提案する。
  論文  参考訳（メタデータ） (2022-11-24T17:23:29Z)
• Sampling from Discrete Energy-Based Models with Quality/Efficiency Trade-offs [3.491202838583993]
  エネルギーベースモデル(EBM)は、確率分布の非常に柔軟な仕様を可能にする。 これらの分布から正確なサンプルを得るためのメカニズムは提供されていない。 そこで本研究では,サンプリング効率とサンプリング品質のトレードオフを可能にする,新しい近似サンプリング手法であるQuasi Rejection Smpling (QRS)を提案する。
  論文  参考訳（メタデータ） (2021-12-10T17:51:37Z)
• LSB: Local Self-Balancing MCMC in Discrete Spaces [2.385916960125935]
  本研究は、純粋に離散的な領域におけるサンプリング効率を向上させるために、機械学習を用いて提案された分布をターゲットに適応させることを検討する。 得られたサンプルをLSB(Locally Self-Balancing Sampler)と呼ぶ。
  論文  参考訳（メタデータ） (2021-09-08T18:31:26Z)
• Reparameterized Sampling for Generative Adversarial Networks [71.30132908130581]
  本稿では,マルコフ連鎖をジェネレータの潜在空間に再配置することで,一般依存型提案を可能にする新しいサンプリング手法REP-GANを提案する。 実験的な実験により、我々のREP-GANはサンプル効率を大幅に改善し、同時により良いサンプル品質を得ることを示した。
  論文  参考訳（メタデータ） (2021-07-01T10:34:55Z)
• Exposing the Implicit Energy Networks behind Masked Language Models via Metropolis--Hastings [57.133639209759615]
  我々は,エネルギーに基づくシーケンスモデルとしてシーケンスを解釈し,訓練者から導出される2つのエネルギーパラメトリゼーションを提案する。 我々はメトロポリス・ハスティングス・モンテカルロのアルゴリズムに基づく抽出可能なエンフスキームを開発した。 提案手法の有効性を,これらのエネルギーモデルから得られた試料の品質を探索することによって検証する。
  論文  参考訳（メタデータ） (2021-06-04T22:04:30Z)
• Achieving Efficiency in Black Box Simulation of Distribution Tails with Self-structuring Importance Samplers [1.6114012813668934]
  本稿では,線形プログラムや整数線形プログラム,ピースワイド線形・二次目的,ディープニューラルネットワークで指定された特徴マップなど,多種多様なツールでモデル化されたパフォーマンス指標の分布を推定する,新しいImportance Smpling(IS)方式を提案する。
  論文  参考訳（メタデータ） (2021-02-14T03:37:22Z)
• Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
  このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。 また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
  論文  参考訳（メタデータ） (2021-02-08T20:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。