論文の概要: Particle GFlowNets: Rethinking Generative Marginalization Models
- arxiv url: http://arxiv.org/abs/2609.11538v1
- Date: Thu, 10 Sep 2026 13:37:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.372877
- Title: Particle GFlowNets: Rethinking Generative Marginalization Models
- Title(参考訳): Particle GFlowNets:ジェネレーティブなMarginalizationモデルの再考
- Abstract要約: 遺伝子組換えモデル(英: Gene Marginalization Models、MaMs)は、離散分布の任意の順序自己回帰モデルのための効率的なニューラルネットワークサンプリングモデルである。
我々はMaMsのサンプリング戦略を非自己回帰生成プロセスに拡張する。
我々の手法はParticle GFlowNetsと呼ばれ、大規模空間でのトレーニングを著しく加速する。
- 参考スコア(独自算出の注目度): 15.290146072002317
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative Marginalization Models (MaMs) have been recently introduced as efficient neural sampling models for any-order autoregressive modelling of discrete distributions. By learning both the marginal and conditional probabilities of a persistent-block Gibbs sampler, MaMs enable fast posterior evaluation with a single neural network forward pass. While prior work has considered MaMs to be distinct from Generative Flow Networks (GFlowNets), a well-established paradigm for inference in discrete stochastic models, we show that they are equivalent. Then, we also extend MaMs' sampling strategy to non-autoregressive generative processes. In particular, we describe an automatic criterion for full-state rejuvenation of the Gibbs sampler, derived from the Gelman-Rubin statistic, which plays a key role in speeding up learning convergence. Our experiments show that our method, called Particle GFlowNets, markedly accelerates training in large combinatorial spaces.
- Abstract(参考訳): 離散分布の任意の順序自己回帰モデルのための効率的なニューラルサンプリングモデルとして、生成行列化モデル (MaMs) が最近導入された。
永続ブロックギブスサンプリングの限界確率と条件確率の両方を学習することにより、MaMsは単一のニューラルネットワークフォワードパスで高速な後部評価を可能にする。
従来の研究では、MaMsは離散確率モデルにおける推論のための確立されたパラダイムであるGenerative Flow Networks(GFlowNets)とは別物であると考えられてきたが、それらは等価であることを示す。
また,MAMsのサンプリング戦略を非自己回帰生成プロセスに拡張する。
特に,学習収束の高速化に重要な役割を果たしているGelman-Rubin統計から派生したGibbsサンプルの完全状態回復のための自動基準について述べる。
実験の結果,提案手法は粒子GFlowNetsと呼ばれ,大規模な組合せ空間での学習を著しく加速することがわかった。
関連論文リスト
- Synergizing Transport-Based Generative Models and Latent Geometry for Stochastic Closure Modeling [1.665466637453776]
低次元潜在空間における流れのマッチングは閉包モデルの高速サンプリングに適していることを示す。
我々は、潜時空間の歪みを制御し、サンプリングされた閉包項の物理的忠実度を確保する。
論文 参考訳(メタデータ) (2026-02-19T05:24:00Z) - Discrete Feynman-Kac Correctors [47.62319930071118]
本研究では,離散マスク拡散モデルの生成分布を推定時に制御できるフレームワークを提案する。
連続モンテカルロ (SMC) アルゴリズムを導出し, 訓練された離散拡散モデルを用いて, サンプル分布の温度を制御した。
本稿では,Isingモデルのボルツマン分布からの効率的なサンプリング,コード生成および記憶学習のための言語モデルの性能向上,および報酬型タンパク質配列生成など,フレームワークの有用性について述べる。
論文 参考訳(メタデータ) (2026-01-15T13:55:38Z) - Reasoning with Sampling: Your Base Model is Smarter Than You Think [52.639108524651846]
本稿では,基本モデル自身の可能性を利用した単純な反復サンプリングアルゴリズムを提案する。
我々のアルゴリズムは、ほぼ一致し、RLのアルゴリズムよりも優れているという推論において、大幅に向上することを示した。
我々の方法は、トレーニング、キュレートされたデータセット、検証器を必要としない。
論文 参考訳(メタデータ) (2025-10-16T17:18:11Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳(メタデータ) (2025-07-11T08:00:47Z) - Text Generation Beyond Discrete Token Sampling [74.06071135207635]
入力の混合(Mixture of Inputs, MoI)は、自動回帰生成のためのトレーニング不要な方法である。
MoIはQwQ-32B、Nemotron-Super-49B、Gemma-3-27B、DAPO-Qwen-32Bを含む複数のモデルのパフォーマンスを継続的に改善している。
論文 参考訳(メタデータ) (2025-05-20T18:41:46Z) - Generative Modeling with Bayesian Sample Inference [50.07758840675341]
我々は,反復的なガウス後部推論から新しい生成モデルを導出した。
我々のモデルは、未知のサンプルを反復的に絞り込むために、一連の予測と後続の更新ステップを使用する。
実験では,BFNと近縁な変分拡散モデルの両方に対して,ImageNet32のサンプル品質が向上することが実証された。
論文 参考訳(メタデータ) (2025-02-11T14:27:10Z) - Neural Flow Samplers with Shortcut Models [19.81513273510523]
連続フローベースのニューラルサンプリングは、非正規化された密度からサンプルを生成するための有望なアプローチを提供する。
速度駆動型Sequential Monte Carlo法を用いて,これらの課題量に対する改良された推定器を提案する。
提案するニューラルフローショートカットサンプリングは,合成データセットと複雑なnボディシステムターゲットの両方において,既存のフローベースニューラルサンプリングよりも経験的に優れている。
論文 参考訳(メタデータ) (2025-02-11T07:55:41Z) - Accelerated Diffusion Models via Speculative Sampling [89.43940130493233]
投機的サンプリングは、大規模言語モデルにおける推論を加速する一般的な手法である。
我々は投機的サンプリングを拡散モデルに拡張し、連続したベクトル値のマルコフ連鎖を介してサンプルを生成する。
本稿では,ドラフトモデルをトレーニングする必要のない,シンプルで効果的なアプローチを含む,さまざまなドラフト戦略を提案する。
論文 参考訳(メタデータ) (2025-01-09T16:50:16Z) - Continual Learning with Fully Probabilistic Models [70.3497683558609]
機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。
生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。
我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2021-04-19T12:26:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。