論文の概要: Sampling from Discrete Energy-Based Models with Quality/Efficiency Trade-offs

• arxiv url: http://arxiv.org/abs/2112.05702v1
• Date: Fri, 10 Dec 2021 17:51:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-13 14:05:56.434186
• Title: Sampling from Discrete Energy-Based Models with Quality/Efficiency Trade-offs
• Title（参考訳）: 品質・効率トレードオフを考慮した離散エネルギーモデルからのサンプリング
• Authors: Bryan Eikema, Germ\'an Kruszewski, Hady Elsahar, Marc Dymetman
• Abstract要約: エネルギーベースモデル(EBM)は、確率分布の非常に柔軟な仕様を可能にする。 これらの分布から正確なサンプルを得るためのメカニズムは提供されていない。 そこで本研究では,サンプリング効率とサンプリング品質のトレードオフを可能にする,新しい近似サンプリング手法であるQuasi Rejection Smpling (QRS)を提案する。
• 参考スコア（独自算出の注目度）: 3.491202838583993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Energy-Based Models (EBMs) allow for extremely flexible specifications of probability distributions. However, they do not provide a mechanism for obtaining exact samples from these distributions. Monte Carlo techniques can aid us in obtaining samples if some proposal distribution that we can easily sample from is available. For instance, rejection sampling can provide exact samples but is often difficult or impossible to apply due to the need to find a proposal distribution that upper-bounds the target distribution everywhere. Approximate Markov chain Monte Carlo sampling techniques like Metropolis-Hastings are usually easier to design, exploiting a local proposal distribution that performs local edits on an evolving sample. However, these techniques can be inefficient due to the local nature of the proposal distribution and do not provide an estimate of the quality of their samples. In this work, we propose a new approximate sampling technique, Quasi Rejection Sampling (QRS), that allows for a trade-off between sampling efficiency and sampling quality, while providing explicit convergence bounds and diagnostics. QRS capitalizes on the availability of high-quality global proposal distributions obtained from deep learning models. We demonstrate the effectiveness of QRS sampling for discrete EBMs over text for the tasks of controlled text generation with distributional constraints and paraphrase generation. We show that we can sample from such EBMs with arbitrary precision at the cost of sampling efficiency.
• Abstract（参考訳）: エネルギーベースモデル(EBM)は、確率分布の非常に柔軟な仕様を可能にする。 しかし、これらの分布から正確なサンプルを得るメカニズムを提供していない。 モンテカルロ法は、容易にサンプル化できる提案分布が利用可能であれば、サンプルを得るのに役立ちます。 例えば、リジェクションサンプリングは正確なサンプルを提供することができるが、ターゲット分布を至る所で上界する提案分布を見つける必要があるため、しばしば適用が困難または不可能である。 metropolis-hastingsのような近似マルコフ連鎖モンテカルロサンプリング手法は設計が容易であり、進化するサンプル上でローカル編集を実行するローカルプロポーザル分布を利用する。 しかし,これらの手法は,提案分布の局所的性質のため非効率であり,試料の質を推定することができない。 本研究では, サンプリング効率とサンプリング品質とのトレードオフを実現するとともに, 明示的な収束限界と診断を提供する新しい近似サンプリング手法, 準拒絶サンプリング (qrs) を提案する。 QRSは、ディープラーニングモデルから得られる高品質なグローバルな提案分布の可用性に便乗している。 分散制約とパラフレーズ生成を伴う制御されたテキスト生成タスクにおけるテキスト上の離散ebmsに対するqrsサンプリングの有効性を実証する。 サンプリング効率を犠牲にして,このようなebmから任意の精度でサンプリングできることを示す。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Conditional sampling within generative diffusion models [12.608803080528142]
  生成拡散モデルにおける条件付きサンプリングに対する既存の計算手法について概説する。 共同分布を利用するか、あるいは明示的な可能性を持つ(事前訓練された)境界分布に依存する重要な手法を強調します。
  論文  参考訳（メタデータ） (2024-09-15T07:48:40Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• A Block Metropolis-Hastings Sampler for Controllable Energy-based Text Generation [78.81021361497311]
  我々は,大規模言語モデルの反復的プロンプトを通じて,各ステップにおけるシーケンス全体の書き直しを提案する新しいメトロポリス・ハスティングス(MH)サンプリング器を開発した。 対象分布からより効率的かつ正確なサンプリングが可能となり, (b) 事前に固定するのではなく, サンプリング手順により生成長を決定することが可能となった。
  論文  参考訳（メタデータ） (2023-12-07T18:30:15Z)
• Conditional Sampling of Variational Autoencoders via Iterated Approximate Ancestral Sampling [7.357511266926065]
  変分オートエンコーダ(VAE)の条件付きサンプリングは、データ計算の欠如など、様々なアプリケーションで必要とされるが、計算上は難解である。 基本的条件付きサンプリングはMetropolis-within-Gibbs (MWG)である
  論文  参考訳（メタデータ） (2023-08-17T16:08:18Z)
• LSB: Local Self-Balancing MCMC in Discrete Spaces [2.385916960125935]
  本研究は、純粋に離散的な領域におけるサンプリング効率を向上させるために、機械学習を用いて提案された分布をターゲットに適応させることを検討する。 得られたサンプルをLSB(Locally Self-Balancing Sampler)と呼ぶ。
  論文  参考訳（メタデータ） (2021-09-08T18:31:26Z)
• Reparameterized Sampling for Generative Adversarial Networks [71.30132908130581]
  本稿では,マルコフ連鎖をジェネレータの潜在空間に再配置することで,一般依存型提案を可能にする新しいサンプリング手法REP-GANを提案する。 実験的な実験により、我々のREP-GANはサンプル効率を大幅に改善し、同時により良いサンプル品質を得ることを示した。
  論文  参考訳（メタデータ） (2021-07-01T10:34:55Z)
• Uncorrelated problem-specific samples of quantum states from zero-mean Wishart distributions [4.289102530380288]
  量子状態空間からサンプリングする2段階のアルゴリズムを提案する。 量子状態に対するウィッシュアート分布の明示的な形式を確立する。 このサンプリングアルゴリズムは1量子状態と2量子状態に対して非常に効率的であり、3量子状態に対しては合理的に効率的であることを示す。
  論文  参考訳（メタデータ） (2021-06-16T03:06:41Z)
• Exposing the Implicit Energy Networks behind Masked Language Models via Metropolis--Hastings [57.133639209759615]
  我々は,エネルギーに基づくシーケンスモデルとしてシーケンスを解釈し,訓練者から導出される2つのエネルギーパラメトリゼーションを提案する。 我々はメトロポリス・ハスティングス・モンテカルロのアルゴリズムに基づく抽出可能なエンフスキームを開発した。 提案手法の有効性を,これらのエネルギーモデルから得られた試料の品質を探索することによって検証する。
  論文  参考訳（メタデータ） (2021-06-04T22:04:30Z)
• Learning Energy-Based Models by Diffusion Recovery Likelihood [61.069760183331745]
  本稿では,エネルギーベースモデルから気軽に学習・サンプルできる拡散回復可能性法を提案する。 学習後、ガウスの白色雑音分布から初期化するサンプリングプロセスにより合成画像を生成することができる。 非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
  論文  参考訳（メタデータ） (2020-12-15T07:09:02Z)
• A Neural Network MCMC sampler that maximizes Proposal Entropy [3.4698840925433765]
  ニューラルネットワークでサンプルを増強することで、効率が向上する可能性がある。 我々のネットワークアーキテクチャは、ターゲット分布の勾配を利用して提案を生成する。 適応型サンプリング器はランゲヴィン力学サンプリング器よりもはるかに高い提案エントロピーで非バイアスサンプリングを実現する。
  論文  参考訳（メタデータ） (2020-10-07T18:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。