論文の概要: Discrete Feynman-Kac Correctors

• arxiv url: http://arxiv.org/abs/2601.10403v1
• Date: Thu, 15 Jan 2026 13:55:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-16 19:43:19.15113
• Title: Discrete Feynman-Kac Correctors
• Title（参考訳）: 離散Fynman-Kac補正器
• Authors: Mohsin Hasan, Viktor Ohanesian, Artem Gazizov, Yoshua Bengio, Alán Aspuru-Guzik, Roberto Bondesan, Marta Skreta, Kirill Neklyudov,
• Abstract要約: 本研究では,離散マスク拡散モデルの生成分布を推定時に制御できるフレームワークを提案する。 連続モンテカルロ (SMC) アルゴリズムを導出し, 訓練された離散拡散モデルを用いて, サンプル分布の温度を制御した。 本稿では,Isingモデルのボルツマン分布からの効率的なサンプリング,コード生成および記憶学習のための言語モデルの性能向上,および報酬型タンパク質配列生成など,フレームワークの有用性について述べる。
• 参考スコア（独自算出の注目度）: 47.62319930071118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete diffusion models have recently emerged as a promising alternative to the autoregressive approach for generating discrete sequences. Sample generation via gradual denoising or demasking processes allows them to capture hierarchical non-sequential interdependencies in the data. These custom processes, however, do not assume a flexible control over the distribution of generated samples. We propose Discrete Feynman-Kac Correctors, a framework that allows for controlling the generated distribution of discrete masked diffusion models at inference time. We derive Sequential Monte Carlo (SMC) algorithms that, given a trained discrete diffusion model, control the temperature of the sampled distribution (i.e. perform annealing), sample from the product of marginals of several diffusion processes (e.g. differently conditioned processes), and sample from the product of the marginal with an external reward function, producing likely samples from the target distribution that also have high reward. Notably, our framework does not require any training of additional models or fine-tuning of the original model. We illustrate the utility of our framework in several applications including: efficient sampling from the annealed Boltzmann distribution of the Ising model, improving the performance of language models for code generation and amortized learning, as well as reward-tilted protein sequence generation.
• Abstract（参考訳）: 離散拡散モデルは最近、離散列を生成するための自己回帰的アプローチに代わる有望な代替として登場した。 段階的な denoising あるいは demasking プロセスによるサンプル生成は、データ内の階層的な非シーケンシャルな相互依存性をキャプチャすることを可能にする。 しかし、これらのカスタムプロセスは、生成されたサンプルの分布に対する柔軟な制御を前提としない。 本研究では,離散マスク拡散モデルの生成分布を推定時に制御できるフレームワークであるDiscrete Feynman-Kac Correctorsを提案する。 連続モンテカルロ (SMC) アルゴリズムは、訓練された離散拡散モデルが与えられた場合、サンプル分布の温度を制御し(例えば、アニーリング)、複数の拡散過程(例えば、異なる条件付きプロセス)の辺縁の積からサンプルを抽出し、外部の報酬関数を持つ辺縁の積からサンプルを抽出し、高い報酬を持つターゲット分布からのサンプルを生成する。 特に、我々のフレームワークは、追加のモデルのトレーニングやオリジナルのモデルの微調整を一切必要としません。 本稿では,Isingモデルの焼鈍ボルツマン分布からの効率的なサンプリング,コード生成および記憶学習のための言語モデルの性能向上,および報酬型タンパク質配列生成など,フレームワークの有用性について述べる。

関連論文リスト

• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
  事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。 本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-04T17:46:51Z)
• Accelerated Diffusion Models via Speculative Sampling [89.43940130493233]
  投機的サンプリングは、大規模言語モデルにおける推論を加速する一般的な手法である。 我々は投機的サンプリングを拡散モデルに拡張し、連続したベクトル値のマルコフ連鎖を介してサンプルを生成する。 本稿では,ドラフトモデルをトレーニングする必要のない,シンプルで効果的なアプローチを含む,さまざまなドラフト戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-09T16:50:16Z)
• Discrete generative diffusion models without stochastic differential equations: a tensor network approach [1.5839621757142595]
  拡散モデル(DM)は、生成機械学習の手法のクラスである。 ネットワーク(TN)を用いて,このような離散モデルを効率的に定義し,サンプリングする方法を示す。」
  論文  参考訳（メタデータ） (2024-07-15T18:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。