論文の概要: Entropy-based Training Methods for Scalable Neural Implicit Sampler
- arxiv url: http://arxiv.org/abs/2306.04952v2
- Date: Thu, 05 Jun 2025 12:46:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-06 21:53:49.105684
- Title: Entropy-based Training Methods for Scalable Neural Implicit Sampler
- Title（参考訳）: エントロピーに基づく拡張型ニューラルインシシットサンプリングの訓練法
- Authors: Weijian Luo, Boya Zhang, Zhihua Zhang,
- Abstract要約: 本稿では,制限を克服する,効率的でスケーラブルな暗黙的ニューラルサンプリング手法を提案する。
暗黙のサンプルは計算コストの低い大量のサンプルを生成することができる。
この2つのトレーニング手法を用いることで、目的の分布から学習し、生成する神経暗黙のサンプルを効果的に最適化する。
- 参考スコア（独自算出の注目度）: 20.35664492719671
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Efficiently sampling from un-normalized target distributions is a fundamental problem in scientific computing and machine learning. Traditional approaches such as Markov Chain Monte Carlo (MCMC) guarantee asymptotically unbiased samples from such distributions but suffer from computational inefficiency, particularly when dealing with high-dimensional targets, as they require numerous iterations to generate a batch of samples. In this paper, we introduce an efficient and scalable neural implicit sampler that overcomes these limitations. The implicit sampler can generate large batches of samples with low computational costs by leveraging a neural transformation that directly maps easily sampled latent vectors to target samples without the need for iterative procedures. To train the neural implicit samplers, we introduce two novel methods: the KL training method and the Fisher training method. The former method minimizes the Kullback-Leibler divergence, while the latter minimizes the Fisher divergence between the sampler and the target distributions. By employing the two training methods, we effectively optimize the neural implicit samplers to learn and generate from the desired target distribution. To demonstrate the effectiveness, efficiency, and scalability of our proposed samplers, we evaluate them on three sampling benchmarks with different scales.
- Abstract（参考訳）: 非正規化対象分布からの効率的なサンプリングは、科学計算と機械学習の基本的な問題である。
マルコフ・チェイン・モンテカルロ (MCMC) のような伝統的な手法は、そのような分布から漸近的に偏りのないサンプルを保証しているが、特に高次元のターゲットを扱う場合、サンプルのバッチを生成するために多くの反復を必要とするため、計算の非効率さに悩まされている。
本稿では,これらの制約を克服する,効率的でスケーラブルなニューラル暗黙のサンプリング手法を提案する。
暗黙のサンプリング器は、反復的な手順を必要とせず、容易にサンプル化された潜伏ベクトルを対象のサンプルにマッピングするニューラル変換を活用することで、計算コストの低い大量のサンプルを生成することができる。
ニューラル暗黙のサンプルを訓練するために、KLトレーニング法とFisherトレーニング法という2つの新しい方法を導入する。
前者はKullback-Leibler分散を最小化し、後者はサンプルと対象分布の間のFisher分散を最小化する。
この2つのトレーニング手法を用いることで、目的の分布から学習し、生成する神経暗黙のサンプルを効果的に最適化する。
提案手法の有効性, 効率, 拡張性を示すため, 異なるスケールの3つのサンプリングベンチマークを用いて評価を行った。
関連論文リスト
- Single-Step Consistent Diffusion Samplers [8.758218443992467]
既存のサンプリングアルゴリズムは通常、高品質なサンプルを作成するために多くの反復的なステップを必要とする。
単一ステップで高忠実度サンプルを生成するために設計された新しいサンプルクラスである,一貫した拡散サンプリングを導入している。
提案手法は,従来の拡散サンプリング装置で要求されるネットワーク評価の1%以下を用いて,高忠実度サンプルが得られることを示す。
論文 参考訳（メタデータ） (2025-02-11T14:25:52Z) - Neural Flow Samplers with Shortcut Models [19.81513273510523]
流れに基づくサンプルは連続性方程式を満たす速度場を学習してサンプルを生成する。
重要サンプリングは近似を提供するが、高い分散に悩まされる。
論文 参考訳（メタデータ） (2025-02-11T07:55:41Z) - Denoising Fisher Training For Neural Implicit Samplers [3.744818211876898]
本稿では, 理論的保証のあるニューラル暗黙サンプリングのための新しい訓練手法であるDenoising Fisher Training (DFT)を紹介する。
DFTは、2次元合成分布、ベイズロジスティック回帰、高次元エネルギーベースモデル(EBM)を含む様々なサンプリングベンチマークで実証的に検証されている。
高次元EMMを用いた実験では、最高1ステップのDFTニューラルサンプリングが最大200個のサンプリングステップでMCMC法と同等の結果を得ることができ、100倍以上の効率が得られた。
論文 参考訳（メタデータ） (2024-11-03T06:21:59Z) - Adaptive teachers for amortized samplers [76.88721198565861]
償却推論(英: Amortized inference)とは、ニューラルネットワークなどのパラメトリックモデルをトレーニングし、正確なサンプリングが可能な所定の非正規化密度で分布を近似するタスクである。
オフ・ポリティクスのRLトレーニングは多様でハイ・リワードな候補の発見を促進するが、既存の手法は依然として効率的な探索の課題に直面している。
そこで本研究では,高次領域の優先順位付けにより,初等補正標本作成者(学生)の指導を指導する適応学習分布(教師)を提案する。
論文 参考訳（メタデータ） (2024-10-02T11:33:13Z) - Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
論文 参考訳（メタデータ） (2024-02-09T01:11:23Z) - Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳（メタデータ） (2023-10-10T10:48:52Z) - POODLE: Improving Few-shot Learning via Penalizing Out-of-Distribution
Samples [19.311470287767385]
そこで本研究では,対象クラス外からのラベル付きサンプルの配布外サンプルを用いて,数発の学習を改善することを提案する。
提案手法は, 実装が簡単で, 特徴抽出器に非依存であり, 事前学習に要する追加コストを伴わず軽量であり, インダクティブ設定とトランスダクティブ設定の両方に適用可能である。
論文 参考訳（メタデータ） (2022-06-08T18:59:21Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳（メタデータ） (2021-10-20T12:25:22Z) - Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。
粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
論文 参考訳（メタデータ） (2021-10-06T16:58:34Z) - Reparameterized Sampling for Generative Adversarial Networks [71.30132908130581]
本稿では,マルコフ連鎖をジェネレータの潜在空間に再配置することで,一般依存型提案を可能にする新しいサンプリング手法REP-GANを提案する。
実験的な実験により、我々のREP-GANはサンプル効率を大幅に改善し、同時により良いサンプル品質を得ることを示した。
論文 参考訳（メタデータ） (2021-07-01T10:34:55Z) - Nested Variational Inference [8.610608901689577]
我々は,KLの発散を最小限に抑えることにより,営巣重要サンプルの提案を学習する手法のファミリーを開発する。
ネスト目標の最適化により,ログ平均重量と有効試料サイズの観点から,試料品質が向上することが観察された。
論文 参考訳（メタデータ） (2021-06-21T17:56:59Z) - A Neural Network MCMC sampler that maximizes Proposal Entropy [3.4698840925433765]
ニューラルネットワークでサンプルを増強することで、効率が向上する可能性がある。
我々のネットワークアーキテクチャは、ターゲット分布の勾配を利用して提案を生成する。
適応型サンプリング器はランゲヴィン力学サンプリング器よりもはるかに高い提案エントロピーで非バイアスサンプリングを実現する。
論文 参考訳（メタデータ） (2020-10-07T18:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。