Fugu-MT 論文翻訳(概要): Discrete Diffusion Inference-Time Control with Nested Sequential Monte Carlo

論文の概要: Discrete Diffusion Inference-Time Control with Nested Sequential Monte Carlo

arxiv url: http://arxiv.org/abs/2608.20123v1
Date: Thu, 20 Aug 2026 14:52:17 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-21 20:28:51.614934
Title: Discrete Diffusion Inference-Time Control with Nested Sequential Monte Carlo
Title（参考訳）: 直列モンテカルロを用いた離散拡散時間制御
Abstract要約: We formulate nested SMC (NSMC) and fully-adapted SMC (FA-NSMC) for Feynman--Kac steering。その結果, NSMCとFA-NSMCは, SMCとブートストラップの最高値よりも一貫して優れていた。
参考スコア（独自算出の注目度）: 4.73459038844245
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study inference-time control for text generation in discrete diffusion language models, where the goal is to steer sampling toward sequence-level rewards without retraining. Prior work in this domain has focused on particle-based methods such as best-of-$n$ sampling and bootstrap sequential Monte Carlo, which may suffer from overoptimism and weight degeneracy, respectively. We address these limitations using \emph{nested} sequential Monte Carlo methods. We formulate nested SMC (NSMC) and fully-adapted nested SMC (FA-NSMC) for Feynman--Kac steering, identifying and correcting errors in prior formulations that lead to biased final estimates. We evaluate these methods on toxicity and fluency steering tasks, showing that NSMC and FA-NSMC consistently outperform best-of-$n$ and bootstrap SMC.
Abstract（参考訳）: 離散拡散言語モデルにおけるテキスト生成の推論時間制御について検討し、その目的は、再学習することなく、シーケンスレベルの報酬に対してサンプリングを行うことである。この領域での以前の研究は、それぞれ過最適化と重縮退に悩まされる可能性がある、ベスト・オブ・ン・ドルサンプリング(英語版)やブートストラップシーケンシャルモンテカルロ(英語版)のような粒子ベースの手法に重点を置いていた。これらの制限に, 連続モンテカルロ法を用いて対処する。 We formulate nested SMC (NSMC) and fully-adapted SMC (FA-NSMC) for Feynman-Kac steering, identified and correcting error in prior formulations that lead to biased final estimates。その結果, NSMCとFA-NSMCは, SMCとブートストラップの最高値よりも一貫して優れていた。

関連論文リスト

Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
本研究は自己回帰型モンテカルロ(SMC)を提示する。提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
論文参考訳（メタデータ） (2026-02-02T09:21:45Z)
Reinforced sequential Monte Carlo for amortised sampling [49.92678178064033]
我々は、最大エントロピー強化学習(MaxEnt RL)により訓練されたシーケンシャルモンテカルロ(SMC)とニューラルシーケンシャルサンプリングとの接続を述べる。本稿では,提案関数とツイスト関数の安定な連成訓練手法と,トレーニング信号のばらつきを低減するための適応重み付け方式について述べる。
論文参考訳（メタデータ） (2025-10-13T17:59:11Z)
Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文参考訳（メタデータ） (2025-07-11T08:00:47Z)
Scalable Bayesian Monte Carlo: fast uncertainty estimation beyond deep ensembles [3.4661537979254655]
本研究では,スケーラブルなベイジアンモンテカルロ(SBMC)と呼ばれるベイジアンディープラーニングのための新しい手法を提案する。この方法はモデルとアルゴリズムから構成されており、モデルは点推定器と後部を補間する。系統的な数値研究により、深層アンサンブル(DE)のような最先端(SOTA)法と同じウォールクロック時間で、SBMCは同等またはより良い精度を達成できることが明らかになった。
論文参考訳（メタデータ） (2025-05-19T17:55:32Z)
Humble your Overconfident Networks: Unlearning Overfitting via Sequential Monte Carlo Tempered Deep Ensembles [3.2254941904559917]
グラディエント・ハミルトン・モンテカルロの提案を逐次モンテカルロ法(SMC)に組み込むことにより,スケーラブルな変種を導入する。我々のSMCSGHMCアルゴリズムは、画像分類、分布外検出、伝達学習タスクにおける勾配降下アンサンブルよりも優れている。
論文参考訳（メタデータ） (2025-05-16T20:10:04Z)
Tuning Sequential Monte Carlo Samplers via Greedy Incremental Divergence Minimization [33.836913624304444]
本稿では,SMCサンプリング器のMarkovカーネルをチューニングするための一般的な適応フレームワークを提案する。本稿では,Langevin Monte Carlo (LMC) などのカーネルに適用可能な勾配およびチューニング不要なアルゴリズムを提案する。我々の実装では、数回のバニラSMC実行を犠牲にして、チューニングされたパラメータの完全なスケジュールを得ることができます。
論文参考訳（メタデータ） (2025-03-19T21:35:02Z)
Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
論文参考訳（メタデータ） (2025-03-04T17:46:51Z)
Sequential Kalman Tuning of the $t$-preconditioned Crank-Nicolson algorithm: efficient, adaptive and gradient-free inference for Bayesian inverse problems [1.3654846342364308]
本稿では,EKI と Flow Annealed Kalman Inversion の適応的な実装を提案する。 EKIはガウス的目標測度と線形前方モデルにおいてのみ正確なものである。標準SMCの適応に比べてコンバージェンス率が大きく改善した。
論文参考訳（メタデータ） (2024-07-10T15:56:30Z)
Reverse Diffusion Monte Carlo [19.35592726471155]
逆拡散モンテカルロ(rdMC)と呼ばれる新しいモンテカルロサンプリングアルゴリズムを提案する。 rdMCはマルコフ連鎖モンテカルロ(MCMC)法とは異なる。
論文参考訳（メタデータ） (2023-07-05T05:42:03Z)
What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文参考訳（メタデータ） (2021-04-29T15:38:46Z)
Annealed Flow Transport Monte Carlo [91.20263039913912]
Annealed Flow Transport (AFT) built on Annealed Importance Smpling (AIS) and Sequential Monte Carlo (SMC) AFTは、連続したターゲットに向かって粒子をプッシュするために順次学習されるNFに依存します。 AFTの人口バージョンの連続時間スケーリング限界は、Feynman--Kac測度によって与えられることを示した。
論文参考訳（メタデータ） (2021-02-15T12:05:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。