論文の概要: Entropy-based Training Methods for Scalable Neural Implicit Sampler
- arxiv url: http://arxiv.org/abs/2306.04952v1
- Date: Thu, 8 Jun 2023 05:56:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 16:15:03.069239
- Title: Entropy-based Training Methods for Scalable Neural Implicit Sampler
- Title（参考訳）: エントロピーに基づく拡張型ニューラルインシシットサンプリングの訓練法
- Authors: Weijian Luo and Boya Zhang and Zhihua Zhang
- Abstract要約: 非正規化対象分布からの効率的なサンプリングは、科学計算と機械学習の基本的な問題である。
本稿では,これらの制約を克服する,効率的でスケーラブルなニューラル暗黙サンプリング手法を提案する。
提案手法では, 提案手法を応用して, 提案手法を用いることにより, 精度の低い大量のサンプルを生成できる。
- 参考スコア（独自算出の注目度）: 15.978655106034113
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Efficiently sampling from un-normalized target distributions is a fundamental
problem in scientific computing and machine learning. Traditional approaches
like Markov Chain Monte Carlo (MCMC) guarantee asymptotically unbiased samples
from such distributions but suffer from computational inefficiency,
particularly when dealing with high-dimensional targets, as they require
numerous iterations to generate a batch of samples. In this paper, we propose
an efficient and scalable neural implicit sampler that overcomes these
limitations. Our sampler can generate large batches of samples with low
computational costs by leveraging a neural transformation that directly maps
easily sampled latent vectors to target samples without the need for iterative
procedures. To train the neural implicit sampler, we introduce two novel
methods: the KL training method and the Fisher training method. The former
minimizes the Kullback-Leibler divergence, while the latter minimizes the
Fisher divergence. By employing these training methods, we effectively optimize
the neural implicit sampler to capture the desired target distribution. To
demonstrate the effectiveness, efficiency, and scalability of our proposed
samplers, we evaluate them on three sampling benchmarks with different scales.
These benchmarks include sampling from 2D targets, Bayesian inference, and
sampling from high-dimensional energy-based models (EBMs). Notably, in the
experiment involving high-dimensional EBMs, our sampler produces samples that
are comparable to those generated by MCMC-based methods while being more than
100 times more efficient, showcasing the efficiency of our neural sampler. We
believe that the theoretical and empirical contributions presented in this work
will stimulate further research on developing efficient samplers for various
applications beyond the ones explored in this study.
- Abstract（参考訳）: 非正規化対象分布からの効率的なサンプリングは、科学計算と機械学習の基本的な問題である。
マルコフ連鎖モンテカルロ(mcmc)のような伝統的なアプローチは、そのような分布から漸近的に偏りのないサンプルを保証するが、特に高次元のターゲットを扱う場合、サンプルのバッチを生成するのに多数のイテレーションを必要とするため、計算の非効率に苦しむ。
本稿では,これらの制約を克服する,効率的でスケーラブルなニューラル暗黙サンプリング手法を提案する。
筆者らは, 反復的な手順を必要とせずに, 潜伏ベクトルを直接サンプルにマッピングするニューラルトランスフォーメーションを利用して, 計算コストの低い大量のサンプルを生成することができる。
ニューラル暗黙サンプリングを訓練するために、KLトレーニング法とFisherトレーニング法という2つの新しい方法を導入する。
前者はクルバック・リーブラー分岐を最小化し、後者はフィッシャー分岐を最小化する。
これらのトレーニング手法を用いることで、ニューラルネットワークの暗黙的サンプリングを効果的に最適化し、所望の目標分布を捕捉する。
提案手法の有効性,効率性,スケーラビリティを実証するため,異なるスケールの3つのサンプリングベンチマークで評価した。
これらのベンチマークには、2Dターゲットからのサンプリング、ベイズ推定、高次元エネルギーベースモデル(EBM)からのサンプリングが含まれる。
特に,高次元EMMを用いた実験では,MCMC法と同等の試料が得られたが,100倍以上の効率が得られ,神経サンプルの効率が示された。
本研究で提示された理論的,実証的な貢献は,本研究以外の様々な応用のための効率的なサンプリング器の開発に関するさらなる研究を刺激すると考えられる。
関連論文リスト
- Denoising Fisher Training For Neural Implicit Samplers [3.744818211876898]
本稿では, 理論的保証のあるニューラル暗黙サンプリングのための新しい訓練手法であるDenoising Fisher Training (DFT)を紹介する。
DFTは、2次元合成分布、ベイズロジスティック回帰、高次元エネルギーベースモデル(EBM)を含む様々なサンプリングベンチマークで実証的に検証されている。
高次元EMMを用いた実験では、最高1ステップのDFTニューラルサンプリングが最大200個のサンプリングステップでMCMC法と同等の結果を得ることができ、100倍以上の効率が得られた。
論文 参考訳（メタデータ） (2024-11-03T06:21:59Z) - Adaptive teachers for amortized samplers [76.88721198565861]
償却推論(英: Amortized inference)とは、ニューラルネットワークなどのパラメトリックモデルをトレーニングし、正確なサンプリングが可能な所定の非正規化密度で分布を近似するタスクである。
オフ・ポリティクスのRLトレーニングは多様でハイ・リワードな候補の発見を促進するが、既存の手法は依然として効率的な探索の課題に直面している。
そこで本研究では,高次領域の優先順位付けにより,初等補正標本作成者(学生)の指導を指導する適応学習分布(教師)を提案する。
論文 参考訳（メタデータ） (2024-10-02T11:33:13Z) - Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
論文 参考訳（メタデータ） (2024-02-09T01:11:23Z) - Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳（メタデータ） (2023-10-10T10:48:52Z) - POODLE: Improving Few-shot Learning via Penalizing Out-of-Distribution
Samples [19.311470287767385]
そこで本研究では,対象クラス外からのラベル付きサンプルの配布外サンプルを用いて,数発の学習を改善することを提案する。
提案手法は, 実装が簡単で, 特徴抽出器に非依存であり, 事前学習に要する追加コストを伴わず軽量であり, インダクティブ設定とトランスダクティブ設定の両方に適用可能である。
論文 参考訳（メタデータ） (2022-06-08T18:59:21Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳（メタデータ） (2021-10-20T12:25:22Z) - Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。
粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
論文 参考訳（メタデータ） (2021-10-06T16:58:34Z) - Reparameterized Sampling for Generative Adversarial Networks [71.30132908130581]
本稿では,マルコフ連鎖をジェネレータの潜在空間に再配置することで,一般依存型提案を可能にする新しいサンプリング手法REP-GANを提案する。
実験的な実験により、我々のREP-GANはサンプル効率を大幅に改善し、同時により良いサンプル品質を得ることを示した。
論文 参考訳（メタデータ） (2021-07-01T10:34:55Z) - Nested Variational Inference [8.610608901689577]
我々は,KLの発散を最小限に抑えることにより,営巣重要サンプルの提案を学習する手法のファミリーを開発する。
ネスト目標の最適化により,ログ平均重量と有効試料サイズの観点から,試料品質が向上することが観察された。
論文 参考訳（メタデータ） (2021-06-21T17:56:59Z) - A Neural Network MCMC sampler that maximizes Proposal Entropy [3.4698840925433765]
ニューラルネットワークでサンプルを増強することで、効率が向上する可能性がある。
我々のネットワークアーキテクチャは、ターゲット分布の勾配を利用して提案を生成する。
適応型サンプリング器はランゲヴィン力学サンプリング器よりもはるかに高い提案エントロピーで非バイアスサンプリングを実現する。
論文 参考訳（メタデータ） (2020-10-07T18:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。