論文の概要: Structured Voronoi Sampling

• arxiv url: http://arxiv.org/abs/2306.03061v3
• Date: Thu, 6 Jun 2024 09:30:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-08 00:59:06.853660
• Title: Structured Voronoi Sampling
• Title（参考訳）: 構造型ボロノイサンプリング
• Authors: Afra Amini, Li Du, Ryan Cotterell,
• Abstract要約: 本稿では,勾配に基づく手法を用いた言語モデルから抽出する原理的アプローチの構築に向けて重要な一歩を踏み出す。 我々は勾配に基づく構造ヴォロノイサンプリング(Structured Voronoi Smpling, SVS)と呼ぶ。 制御された生成タスクでは、SVSは流動的で多様なサンプルを生成できるが、制御対象は他の方法よりもはるかに優れている。
• 参考スコア（独自算出の注目度）: 61.629198273926676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient-based sampling algorithms have demonstrated their effectiveness in text generation, especially in the context of controlled text generation. However, there exists a lack of theoretically grounded and principled approaches for this task. In this paper, we take an important step toward building a principled approach for sampling from language models with gradient-based methods. We use discrete distributions given by language models to define densities and develop an algorithm based on Hamiltonian Monte Carlo to sample from them. We name our gradient-based technique Structured Voronoi Sampling (SVS). In an experimental setup where the reference distribution is known, we show that the empirical distribution of SVS samples is closer to the reference distribution compared to alternative sampling schemes. Furthermore, in a controlled generation task, SVS is able to generate fluent and diverse samples while following the control targets significantly better than other methods.
• Abstract（参考訳）: 勾配に基づくサンプリングアルゴリズムは、テキスト生成において、特に制御されたテキスト生成の文脈において、その効果を実証している。 しかし、この課題には理論的に根ざした原則的なアプローチが欠如している。 本稿では,勾配に基づく手法を用いた言語モデルから抽出する原理的アプローチの構築に向けて重要な一歩を踏み出す。 言語モデルによって与えられる離散分布を用いて密度を定義し、ハミルトンモンテカルロに基づくアルゴリズムを開発してそれらからサンプリングする。 勾配に基づく手法としてStructured Voronoi Smpling (SVS) を挙げる。 基準分布が知られている実験装置において、SVSサンプルの実験的分布は、代替サンプリング方式よりも基準分布に近いことを示す。 さらに、制御された生成タスクでは、SVSは他の方法よりもはるかに優れた制御対象に従いながら、流動的で多様なサンプルを生成することができる。

関連論文リスト

• Unified Convergence Analysis for Score-Based Diffusion Models with Deterministic Samplers [49.1574468325115]
  決定論的サンプリングのための統合収束分析フレームワークを提案する。 我々のフレームワークは$tilde O(d2/epsilon)$の反復複雑性を実現する。 また,Denoising Implicit Diffusion Models (DDIM) タイプのサンプルについて詳細な分析を行った。
  論文  参考訳（メタデータ） (2024-10-18T07:37:36Z)
• An Efficient Quasi-Random Sampling for Copulas [3.400056739248712]
  本稿では、GAN(Generative Adrial Networks)のような生成モデルを用いて、任意のコプラに対して準ランダムなサンプルを生成することを提案する。 GANは、複雑なデータの分布を学習するために使われる暗黙的な生成モデルの一種であり、簡単にサンプリングできる。
  論文  参考訳（メタデータ） (2024-03-08T13:01:09Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Enhancing Score-Based Sampling Methods with Ensembles [0.0]
  生成拡散モデルと以前に導入されたF"ollmer sampler"との関係を強調する。 我々は,低次元から中次元のサンプリング問題を含む様々な例を通して,アンサンブル戦略の有効性を実証する。 本研究は,勾配が不可能な状況において,複雑な確率分布をモデル化するためのアンサンブル戦略の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2024-01-31T01:51:29Z)
• Principled Gradient-based Markov Chain Monte Carlo for Text Generation [77.46654898866291]
  目標エネルギーに基づくテキスト分布を正確にサンプリングするために, 忠実な勾配に基づくサンプリングアルゴリズムを提案する。 我々は、忠実なサンプリング者が制御対象に忠実に固執しながら、より流動的なテキストを生成できることを実証する。
  論文  参考訳（メタデータ） (2023-12-29T18:00:56Z)
• Sampling, Diffusions, and Stochastic Localization [10.368585938419619]
  拡散は高次元分布からサンプリングする手法として成功している。 ローカライゼーション(英: localization)は、マルコフ連鎖と高次元における他の機能的不等式を混合することを証明する手法である。 そこで,[EAMS2022] に局所化のアルゴリズムを導入し,特定の統計力学モデルからアルゴリズムを抽出した。
  論文  参考訳（メタデータ） (2023-05-18T04:01:40Z)
• Unsupervised Learning of Sampling Distributions for Particle Filters [80.6716888175925]
  観測結果からサンプリング分布を学習する4つの方法を提案する。 実験により、学習されたサンプリング分布は、設計された最小縮退サンプリング分布よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:50:21Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。