論文の概要: Query-Efficient Rejection Sampling for Parallel Masked Diffusion

• arxiv url: http://arxiv.org/abs/2610.22238v1
• Date: Thu, 15 Oct 2026 17:15:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.219899
• Title: Query-Efficient Rejection Sampling for Parallel Masked Diffusion
• Title（参考訳）: 並列マスク付き拡散のためのクエリ効率の良いリジェクションサンプリング
• Abstract要約: マスク付き拡散モデル(MDM)は、複数のトークンを並列にアンマスクすることで生成を加速する。 データ分布とSIRS出力のKL分割はクリッピング項とモデルのトレーニング誤差によって境界づけられていることを示す。
• 参考スコア（独自算出の注目度）: 50.71929824286374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion models (MDMs) accelerate generation by unmasking multiple tokens in parallel, but sampling these tokens independently ignores their correlations and biases the output. Anari et al. (2026) corrected this bias with rejection sampling, decomposing the log acceptance probability into a sum of token-level terms, but the evaluation requires one score query per unmasked token. We propose the Single-Increment Rejection Sampler (SIRS), which provides an estimate of the log acceptance probability from a single randomly sampled increment at the cost of one query. SIRS then converts a Poisson number of clipped estimates into accept/reject decisions through a Bernoulli factory adapted from Chen et al. (2026). Since each query returns the conditionals of all remaining tokens in the block, we further Rao-Blackwellize each increment by averaging over these tokens at no extra cost, thereby reducing clipping. We show that the KL-divergence between the data distribution and the SIRS output is bounded by a clipping term plus the model's training error. With exact scores, parallel decoding pays the full within-block dependence, whereas SIRS pays only the part beyond the clipping range.
• Abstract（参考訳）: マスク付き拡散モデル(MDM)は、複数のトークンを並列にアンマキングすることで生成を加速するが、これらのトークンを個別にサンプリングすることはそれらの相関や出力のバイアスを無視する。 Anari et al (2026) はこのバイアスを拒絶サンプリングで修正し、ログの受け入れ確率をトークンレベルの項の和に分解した。 本研究では,1つのクエリのコストでランダムにサンプリングされた1つのインクリメントからログ受信確率を推定するシングルインクリメント・リジェクション・サンプリング(SIRS)を提案する。 SIRSは次に、Chen et al (2026) から適応されたBernoulli 工場を通して、クリップされた推定値のポアソン数を、受け入れ/拒絶決定に変換する。 各クエリはブロック内の残りのトークンの条件を返しますので、これらのトークンを平均化することで各インクリメントをさらに高め、クリッピングを減らします。 データ分布とSIRS出力のKL分割はクリッピング項とモデルのトレーニング誤差によって境界づけられていることを示す。 正確なスコアでは、並列復号化はブロック内依存に完全に依存するが、SIRSはクリッピング範囲を超える部分のみを支払う。

関連論文リスト

• Provably adaptive sampling with uniform and remasking discrete diffusion models [9.180350432640912]
  本研究では,一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一 我々の主な成果は、適応的なサンプリング保証を確立することである。 構造化された合成分布に関する数値実験は、予測された次元適応挙動を示す。
  論文  参考訳（メタデータ） (2026-08-24T17:54:51Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• Dependency-Guided Parallel Decoding in Discrete Diffusion Language Models [21.699371484195865]
  我々は,dLLMの最終隠れ状態にアタッチする軽量依存予測器DEMASKを提案する。 実証的に、DEMASKはDream-7Bで1.7-2.2$times$ Speedupを達成し、信頼性ベースのベースラインやKLベースのベースラインと比較して精度が向上した。
  論文  参考訳（メタデータ） (2026-04-02T22:21:24Z)
• Adaptation to Intrinsic Dependence in Diffusion Language Models [5.185131234265025]
  拡散言語モデル(DLM)は自己回帰(AR)アプローチに代わる有望な代替手段として登場した。 対象データ分布の(未知の)依存構造に適応するDLMの分布に依存しないアンマスキングスケジュールを提案する。 この結果は, 先行収束理論を著しく改善し, 低複雑さ分布に対する相当なサンプリング加速を得た。
  論文  参考訳（メタデータ） (2026-02-23T18:41:34Z)
• Channel Simulation and Distributed Compression with Ensemble Rejection Sampling [16.135460960017166]
  本稿では,チャネルシミュレーションと分散マッチングについて検討する。 チャネルシミュレーションでは,Ensemble Rejection Sampling (ERS)アルゴリズムに基づく新しい符号化方式を提案する。 本研究の主な貢献として,Poisson Matching Lemma (PML) に対する拒絶サンプリングとして機能するERSの分散マッチング補題を提案する。 我々はまた、近年の補題の重要度に関する研究(Phan et al, 2024)を一般化し、我々の知る限り、マッチング確率が近い拒絶サンプリングスキームの族における分散マッチングの最初の結果である。
  論文  参考訳（メタデータ） (2025-10-07T03:43:58Z)
• Flipping Against All Odds: Reducing LLM Coin Flip Bias via Verbalized Rejection Sampling [59.133428586090226]
  大規模言語モデル(LLM)は、しばしば自然言語を用いて確率分布を正確に記述することができる。 このミスマッチはモンテカルロ法、エージェントベースのシミュレーション、ランダム化された意思決定などの信頼性を必要とするタスクでの使用を制限する。 本稿では,古典的リジェクションサンプリングの自然言語適応であるVerbalized Rejection Smpling (VRS)を紹介する。
  論文  参考訳（メタデータ） (2025-06-11T17:59:58Z)
• Text Generation Beyond Discrete Token Sampling [74.06071135207635]
  入力の混合(Mixture of Inputs, MoI)は、自動回帰生成のためのトレーニング不要な方法である。 MoIはQwQ-32B、Nemotron-Super-49B、Gemma-3-27B、DAPO-Qwen-32Bを含む複数のモデルのパフォーマンスを継続的に改善している。
  論文  参考訳（メタデータ） (2025-05-20T18:41:46Z)
• Non-Stochastic CDF Estimation Using Threshold Queries [3.6576781735746513]
  実験的な分布を2つの課題で推定する問題に取り組む。 まず、アルゴリズムはデータを直接観察するのではなく、サンプルについて限られた数のしきい値クエリしか要求しない。 第二に、データは独立で同一の分散であると仮定されず、代わりにサンプルを生成する任意のプロセスが可能である。
  論文  参考訳（メタデータ） (2023-01-13T18:00:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。