論文の概要: Sampling from Flow Language Models via Marginal-Conditioned Bridges

• arxiv url: http://arxiv.org/abs/2605.13681v1
• Date: Wed, 13 May 2026 15:38:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.145019
• Title: Sampling from Flow Language Models via Marginal-Conditioned Bridges
• Title（参考訳）: Marginal-Conditioned Bridgeによる流れ言語モデルからのサンプリング
• Authors: Iskander Azangulov, Leo Zhang,
• Abstract要約: フロー言語モデル (FLM) は、1ホットエンコードされたトークンシーケンスに対して連続的なフローマッチングを適用する。 我々は、FLMの自然なサンプリングは、代わりに後述の予測であると主張する。 誘導されたワンステップブリッジカーネルはトークン単位の後方予測限界を全て保持することを示す。
• 参考スコア（独自算出の注目度）: 1.43163477873944
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Flow Language Models (FLMs) are a recently introduced class of language models which adapt continuous flow matching for one-hot encoded token sequences. Their denoisers have a special structure absent from generic continuous diffusion models: each block of the denoising mean is a posterior marginal distribution over the clean token at that position. Standard DDPM-style samplers collapse these marginals to a single conditional-mean endpoint and bridge toward this simplex-valued point, which is generally not a valid one-hot sequence. We argue that the natural sampler for an FLM is instead posterior-predictive. At each reverse step, we sample a clean one-hot endpoint from the factorized posterior defined by the FLM token marginals, and then sample the next continuous state from the analytic Ornstein--Uhlenbeck bridge conditioned on that endpoint. The method is training-free, uses the same model evaluations as standard sampling, and gives a principled interface for token-level decoding controls such as temperature scaling and nucleus truncation. We show that, under exact posterior marginals, the endpoint approximation error is exactly the conditional multi-information among token positions. The induced one-step bridge kernel preserves all token-wise posterior-predictive marginals and loses only the residual cross-position dependence. Finally, we prove a Girsanov path-space comparison showing that the marginal-conditioned bridge has a no-larger denoising-error term than the frozen conditional-mean bridge, with strict improvement whenever intermediate coordinate-wise bridge observations reveal additional information about the clean token. Experiments with FLMs show that the sampler improves the quality--diversity tradeoff. Code is available at: github.com/imbirik/mcb.
• Abstract（参考訳）: Flow Language Models (FLMs) は、1ホットエンコードされたトークンシーケンスに対して連続的なフローマッチングを適用する言語モデルのクラスである。 それらのデノワは、一般的な連続拡散モデルに欠く特別な構造を持ち、デノナイジング平均の各ブロックは、その位置にあるクリーントークン上の後縁分布である。 標準DDPM型サンプリング器は、これらの限界を単一の条件付き平均点に崩壊させ、この単純な点へ橋渡しする。 我々は、FLMの自然なサンプリングは、代わりに後述の予測であると主張する。 各逆ステップで、FLMトークン境界によって定義される因子化後端からクリーンな1ホットエンドポイントをサンプリングし、そのエンドポイントに条件付けられた解析的オルンシュタイン-ウレンベック橋から次の連続状態をサンプリングする。 この方法はトレーニング不要であり、標準サンプリングと同じモデル評価を使用し、温度スケーリングや核切断といったトークンレベルの復号制御の原則的インターフェースを提供する。 その結果, 終端近似誤差は, トークン位置間の条件付き多重情報であることがわかった。 誘導されたワンステップブリッジカーネルはトークン単位の後方予測限界を全て保持し、残りのクロスポジション依存だけを失う。 最後に, 境界条件付き橋は凍結条件付き平均橋よりも大きなデノージング・エラー項を有しており, 中間座標方向の橋梁観測がクリーントークンに関する追加情報を明らかにすると, 厳密な改善が期待できることを示す。 FLMによる実験では、サンプルは品質、多様性のトレードオフを改善する。 コードは、github.com/imbirik/mcbで入手できる。

関連論文リスト

• QDSB: Quantized Diffusion Schrödinger Bridges [4.3331379059769395]
  本稿では,量子化拡散シュルディンガーブリッジ (QDSB) を提案する。 正規化最適結合は、アンカー近似の品質によって制御される誤差により、安定なw.r.t.アンカー量子化であることを示す。
  論文  参考訳（メタデータ） (2026-05-12T11:35:08Z)
• Sobolev Regularized MMD Gradient Flow [22.929984194375805]
  勾配規則化MDD流の正規化変種を提案する。 提案した正規化は、平均核平均埋め込みの違いを緩和する。 提案した流れの重要な特徴は、両方のサンプリング(非正規化対象分布からの)に適用可能であることである。
  論文  参考訳（メタデータ） (2026-05-12T09:58:19Z)
• Discrete Flow Matching: Convergence Guarantees Under Minimal Assumptions [13.856153548136826]
  Flow Matchingは、ターゲット分布をシミュレートするための一般的な生成モデルのクラスとして最近登場した。 時間離散化によってサンプル化した $mathbbZ_md = 0,ldots,m-1d$ の DFM モデルについて検討した。 ターゲット分布の早期停止版に対するKulback--Leibler分散の非漸近境界を導出する。
  論文  参考訳（メタデータ） (2026-05-09T11:06:33Z)
• Neural Continuous-Time Markov Chain: Discrete Diffusion via Decoupled Jump Timing and Direction [18.20305761007799]
  我々は,2つの専用ネットワークヘッドを用いて,エフェキシットレート(ジャンプ時)とエフェジュンプ分布(ジャンプ時)で逆処理をパラメータ化するtextbfNeural CTMCを提案する。 我々は、エビデンスローバウンド(ELBO)が、真と学習された逆過程の経路空間KL分散と$$非依存定数で異なることを示す。 また, トラクタブル条件付きサロゲートは標準正則性仮定の下で, 対応する限界逆プロセス対象の勾配と最小化を保っていることを示す。
  論文  参考訳（メタデータ） (2026-04-17T04:40:19Z)
• Is Your Diffusion Sampler Actually Correct? A Sampler-Centric Evaluation of Discrete Diffusion Language Models [14.764619905977739]
  そこで,本研究では,学習したデノイザを,基底構造マルコフ連鎖から派生した正確な隠れマルコフモデルに置き換える,サンプル中心のオラクルフレームワークを提案する。 数ステップの離散拡散サンプリング器は, オラクル・デノイザの下でも分布が正しくないことを示し, ステップ数が列長に近づくと, 遷移レベルのミスマッチが消えることを示した。
  論文  参考訳（メタデータ） (2026-02-23T09:06:13Z)
• Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
  事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。 本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-04T17:46:51Z)
• Distributional Diffusion Models with Scoring Rules [83.38210785728994]
  拡散モデルは高品質な合成データを生成する。 高品質な出力を生成するには、多くの離散化ステップが必要です。 クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
  論文  参考訳（メタデータ） (2025-02-04T16:59:03Z)
• Targeted stochastic gradient Markov chain Monte Carlo for hidden Markov models with rare latent states [48.705095800341944]
  隠れマルコフモデルのためのマルコフ連鎖モンテカルロ (MCMC) アルゴリズムは、しばしば前向きのサンプリング器に依存する。 これにより、時系列の長さが増加するにつれて計算が遅くなり、サブサンプリングベースのアプローチの開発が動機となる。 本稿では,パラメータの勾配を計算する際に,希少な潜伏状態に対応するオーバーサンプリング観測を対象とするサブサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2018-10-31T17:44:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。