論文の概要: Parallel Sampling from Masked Diffusion Models via Conditional Independence Testing

• arxiv url: http://arxiv.org/abs/2510.21961v1
• Date: Fri, 24 Oct 2025 18:41:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 19:54:32.481717
• Title: Parallel Sampling from Masked Diffusion Models via Conditional Independence Testing
• Title（参考訳）: 条件付き独立試験による仮設拡散モデルからの並列サンプリング
• Authors: Iskander Azangulov, Teodora Pandeva, Niranjani Prasad, Javier Zazo, Sushrut Karmalkar,
• Abstract要約: 仮面拡散モデル(MDM)は、離散テキスト生成のための自己回帰モデル(ARM)に代わる魅力的な代替手段を提供する。 シーケンシャルな左から右への生成ではなく、並列トークンサンプリングを可能にする。 本稿では,このトレードオフを再現するモデル非依存のサンプル装置PUNTを紹介する。
• 参考スコア（独自算出の注目度）: 4.707859580472452
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion models (MDMs) offer a compelling alternative to autoregressive models (ARMs) for discrete text generation because they enable parallel token sampling, rather than sequential, left-to-right generation. This means potentially much faster inference. However, effective parallel sampling faces two competing requirements: (i) simultaneously updated tokens must be conditionally independent, and (ii) updates should prioritise high-confidence predictions. These goals conflict because high-confidence predictions often cluster and depend on each other, opportunities for parallel updates. We present PUNT, a model-agnostic sampler that reconciles this trade-off. Our method identifies token dependencies and removes lower-confidence tokens from conflicting groups. This produces sets of indices for unmasking that satisfy both independence and confidence criteria. Our approach ensures improved parallel unmasking through approximate conditional independence testing. Our experiments show that PUNT delivers a superior trade-off between accuracy and compute when compared to other strong training-free baselines, especially for generation of longer sequences. On the IFEval benchmark, it achieves up to 16\% higher accuracy over baseline methods, including sequential generation (one-by-one). These gains hold across different values of hyperparameters, mitigating the need for brittle hyperparameter tuning. Moreover, we observe that PUNT induces an emergent hierarchical generation strategy, where the model first establishes high-level paragraph structure before local refinement, suggesting a planning-like generation process that contributes to strong alignment performance.
• Abstract（参考訳）: マスク付き拡散モデル(MDM)は、連続的な左から右への生成ではなく、並列トークンサンプリングを可能にするため、離散テキスト生成のための自動回帰モデル(ARM)に代わる魅力的な代替手段を提供する。 これは潜在的にはるかに高速な推論を意味する。 しかし、効果的な並列サンプリングは2つの競合する要件に直面している。 (i)同時に更新されたトークンは条件付き独立でなければならない。 (二)アップデートは、高信頼の予測を優先すべきである。 これらの目標が矛盾するのは、高信頼の予測が頻繁にクラスタ化され、相互に依存しているためである。 本稿では,このトレードオフを再現するモデル非依存のサンプル装置PUNTを紹介する。 本手法は,トークンの依存関係を識別し,競合するグループから低信頼トークンを除去する。 これにより、独立性と信頼の基準の両方を満たすアンマスキークの指標が生成される。 提案手法は, ほぼ条件付き独立性試験により並列アンマキングを改善する。 実験の結果,PUNTは他の強いトレーニングのないベースラインと比較して,特に長いシーケンスの生成において,精度と計算のトレードオフが優れていることがわかった。 IFEvalベンチマークでは、逐次生成(1対1)を含むベースラインメソッドよりも最大16倍高い精度を達成する。 これらの利得は、様々なハイパーパラメーターの値にまたがって保持され、脆いハイパーパラメーターチューニングの必要性を緩和する。 さらに,PUNTは,局所的な改良の前にまず高水準の段落構造を構築し,強いアライメント性能に寄与するプランニングのような生成プロセスを提案する,創発的な階層的生成戦略を導出する。

関連論文リスト

• Efficient Autoregressive Inference for Transformer Probabilistic Models [24.106729589790465]
  両パラダイムの利点を保った因果自己回帰バッファを導入する。 統合されたトレーニング戦略により、セットベースと自動回帰モードのシームレスな統合が可能になる。 提案手法は,強いベースラインの予測精度と最大20倍の高速な関節サンプリングを実現する。
  論文  参考訳（メタデータ） (2025-10-10T15:32:58Z)
• Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
  任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。 我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。 我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2025-04-29T06:33:13Z)
• Jakiro: Boosting Speculative Decoding with Decoupled Multi-Head via MoE [15.003006630308517]
  投機的復号(SD)は、より小さなドラフトモデルを用いて複数のトークンを予測することで、大きな言語モデル推論を加速する。 本稿では,専門家の混在(Mixture of Experts, MoE)を利用したJakiroを提案する。 提案手法は予測精度を大幅に向上し,推論高速化を実現する。
  論文  参考訳（メタデータ） (2025-02-10T09:24:06Z)
• Efficient Generative Modeling with Residual Vector Quantization-Based Tokens [5.949779668853557]
  ResGenは、高速サンプリングによる高忠実度生成のための効率的な残留ベクトル量子化に基づく生成モデルである。 我々は,ImageNet 256x256における条件付き画像生成とゼロショット音声合成の2つの課題に対して,提案手法の有効性と一般化性を検証する。 RVQの深さを拡大するにつれて、我々の生成モデルは、同様の大きさのベースラインモデルと比較して、より優れた生成忠実度またはより高速なサンプリング速度を示す。
  論文  参考訳（メタデータ） (2024-12-13T15:31:17Z)
• Non-autoregressive Sequence-to-Sequence Vision-Language Models [59.445765313094434]
  本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。 このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
  論文  参考訳（メタデータ） (2024-03-04T17:34:59Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Enhancing Few-shot NER with Prompt Ordering based Data Augmentation [59.69108119752584]
  本稿では,PODA(Prompt Ordering Based Data Augmentation)手法を提案する。 3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-19T16:25:43Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。