論文の概要: FluxLite: Inference-Time Proposal Control for Discrete Diffusion Models
- arxiv url: http://arxiv.org/abs/2609.35947v1
- Date: Mon, 28 Sep 2026 17:02:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.905451
- Title: FluxLite: Inference-Time Proposal Control for Discrete Diffusion Models
- Title（参考訳）: FluxLite:離散拡散モデルの推論時間提案制御
- Abstract要約: 本稿では、離散拡散のための軽量でトレーニング不要な提案制御フレームワークであるFluxLiteを紹介する。
我々はこの原理を2つの実践的なサンプルとしてインスタンス化している: 1-hop Local reallocation rule (HEU) と、事前訓練されたレートベース (D-VCG) 上の小さな非負の二次プログラムである。
- 参考スコア（独自算出の注目度）: 22.416181303190573
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many inference-time tasks for pretrained discrete diffusion models and diffusion language models reduce to drawing samples from a tilted version of the pretrained distribution. Feynman-Kac sequential Monte Carlo (SMC) makes this correction exact in principle, but its prescribed weights routinely degenerate when the proposal dynamics are misaligned with the tilt, capping the practical gains from additional particles. We introduce FluxLite, a lightweight, training-free proposal-control framework for discrete diffusion. On the sparse directed graph of pretrained reverse rates, any sparse jump-rate perturbation can be exactly compensated by a $q_t$-weighted graph-divergence term in the Feynman-Kac potential; the target path is therefore preserved while the residual reweighting variance becomes a local convex objective. We instantiate this principle as two practical samplers: a one-hop local reallocation rule (HEU) and a small nonnegative quadratic program over pretrained-rate bases (D-VCG). We further prove population stability under the standard score-entropy training loss, identifying a tilted-path coverage factor that governs robustness to score error, together with finite-particle convergence for a fixed controlled Feynman-Kac recursion. Empirically, FluxLite improves over standard Feynman-Kac SMC baselines by up to two orders of magnitude in terminal KL on an analytically tractable finite-state CTMC benchmark, and reduces row-correlation MSE on 2D Ising sampling by 5-7x in geometric mean and up to 55x at peak.
- Abstract（参考訳）: 事前学習された離散拡散モデルと拡散言語モデルに対する多くの推論時間タスクは、事前学習された分布の傾いたバージョンからサンプルを抽出する。
Feynman-Kac シーケンシャルモンテカルロ (SMC) は、この補正を原理的に行うが、提案力学が傾きと不一致である場合、所定の重みは日常的に縮退する。
本稿では、離散拡散のための軽量でトレーニング不要な提案制御フレームワークであるFluxLiteを紹介する。
事前訓練された逆率のスパース指向グラフでは、任意のスパースジャンプレートの摂動は、ファインマン・カックポテンシャルにおける$q_t$重み付きグラフ偏差項によって正確に補償することができる。
我々は,この原理を,1ホップ局所再配置規則 (HEU) と,事前学習基数 (D-VCG) 上の小さな非負の二次計画 (非負の二次計画) の2つの実例として定式化する。
さらに,固定制御されたFeynman-Kac再帰に対する有限粒子収束とともに,スコアエラーに対するロバスト性を支配する傾斜パス被覆因子を同定し,標準スコアエントロピートレーニング損失下での個体群安定性を証明した。
実験的に、FluxLiteは解析的に抽出可能な有限状態CTMCベンチマークにおいて、標準のFeynman-Kac SMCベースラインを最大2桁まで改善し、幾何学平均で5～7倍、ピーク時に55倍まで改善する。
関連論文リスト
- Interacting particle guidance for sampling reward-tilted generative priors [15.077556801319693]
インタイムステアリングは、事前訓練された拡散とフローベースのモデルを新しいタスクに適応させる。
誘導に基づく手法は偏りのあるサンプルを生成する近似に依存する。
本稿では, 再重み付けを輸送に置き換えるインタラクション粒子誘導(IPG)を提案する。
論文 参考訳（メタデータ） (2026-09-29T10:40:37Z) - SIMANF: Sample Free Learning of Unnormalized Distributions via Simulated Annealing in Normalizing Flows [0.0]
SIMANFは、模擬アニーリングと正規化フローを統合する、サンプルフリーフレームワークである。
マルチウェル分布と高次元スカラーPhi4格子場分布に有効性を示す。
論文 参考訳（メタデータ） (2026-09-26T06:12:07Z) - Bridging Stochastic Flow Maps and Boltzmann Generators with Normalizing Flows [5.110553824402214]
生成モデルを最後に修正する正規化フローマップ(NF$2$M)を導入する。
NF$2$Mは、生成が進むにつれて各デノイング遷移を反映し、最終的に破棄される軌跡上の無駄な計算を避ける。
ペプチド系におけるNF$2$Mの評価を行い, サンプリング効率と試料品質が改善された。
論文 参考訳（メタデータ） (2026-09-25T20:31:31Z) - LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction [59.32834240526981]
フローベース生成モデルは典型的には、決定論的常微分方程式(ODE)を解くことによってサンプリングされる
既存の流れモデルのためのGRPO法は、訓練中にオイラー時間ODEを非等方微分方程式(SDE)に置き換える。
本稿では,フローベースGRPOフレームワークであるLC-GRPOを紹介する。
論文 参考訳（メタデータ） (2026-08-06T04:47:57Z) - Expanding SPHERE-JEPA: A Family of Statistical Regularizers for the Hypersphere [11.087393998848254]
SSL(Self-Supervised Learning)では,単位超球面上の一様分布を明示的に強制することにより,表現の崩壊を防止することが実証された。
現在のフレームワークは通常、SIGReg(LeJEPAで使用される)やSUSReg(SPHEREJEPAで使用される)のようなスライスされた統計正規化器に依存している。
これにより、トレーニング勾配にプロジェクションのばらつきを注入し、最適化を安定化させ、収束を妨げる。
本研究では,これらのランダムな射影を解析的に統合することにより,決定論的最大平均離散性(MMD)が得られ,スライスされた手法のばらつきを回避できることを示す。
論文 参考訳（メタデータ） (2026-06-16T07:10:05Z) - From Scores to Gibbs Correctors: Accelerating Uniform-Rate Discrete Diffusion Models [58.02657021435213]
我々は、Gibs-Accelerated Discrete Diffusion (GADD)と呼ばれる離散拡散モデルのための新しいGibsベースの修正器を提案する。
我々はGADDが$mathcalO(mathrmpolylog (varepsilon-1)$の総合的なサンプリング複雑性を達成し、均一レートの離散拡散モデルに対する拡散に基づくサンプリング者にとって最初のレートとなることを示す。
論文 参考訳（メタデータ） (2026-05-26T17:52:28Z) - Inference-Time Alignment of Diffusion Models via Trust-Region Iterative Twisted Sequential Monte Carlo [15.105260031413698]
拡散に基づく生成モデルの推論時間アライメントについて検討する。
SMCに基づく推論時間アライメントにおけるツイスト機能学習のための信頼領域フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-24T15:08:52Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳（メタデータ） (2025-07-11T08:00:47Z) - Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。
本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-03-04T17:46:51Z) - On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。
RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。
本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
論文 参考訳（メタデータ） (2024-10-19T02:36:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。