論文の概要: NI Sampling: Accelerating Discrete Diffusion Sampling by Token Order Optimization

• arxiv url: http://arxiv.org/abs/2604.18471v2
• Date: Sun, 26 Apr 2026 18:45:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 21:46:41.461188
• Title: NI Sampling: Accelerating Discrete Diffusion Sampling by Token Order Optimization
• Title（参考訳）: NIサンプリング:トークン順序最適化による離散拡散サンプリングの高速化
• Authors: Enshu Liu, Xuefei Ning, Yu Wang, Zinan Lin,
• Abstract要約: 本稿では,トークンサンプリング順序最適化の問題について検討し,その加速度に対する有意義な可能性を示す。 本稿では,各ステップでどのトークンをサンプリングすべきかを決定するために,ニューラルインジケータを用いたニューラルインジケータサンプリングフレームワークを提案する。 本手法は精度-ステップトレードオフにおける信頼しきい値サンプリングを一貫して上回る。
• 参考スコア（独自算出の注目度）: 27.77541110403583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete diffusion language models (dLLMs) have recently emerged as a promising alternative to traditional autoregressive approaches, offering the flexibility to generate tokens in arbitrary orders and the potential of parallel decoding. However, existing heuristic sampling strategies remain inefficient: they choose only a small part of tokens to sample at each step, leaving substantial room for improvement. In this work, we study the problem of token sampling order optimization and demonstrate its significant potential for acceleration. Specifically, we find that fully leveraging correct predictions at each step can reduce the number of sampling iterations by an order of magnitude without compromising accuracy. Based on this, we propose Neural Indicator Sampling (NI Sampling), a general sampling order optimization framework that utilize a neural indicator to decide which tokens should be sampled at each step. We further propose a novel trajectory-preserving objective to train the indicator. Experiments on LLaDA and Dream models across multiple benchmarks show that our method achieves up to 14.3$\times$ acceleration over full-step sampling with negligible performance drop, and consistently outperforms confidence threshold sampling in the accuracy-step trade-off. Code is available at https://github.com/imagination-research/NI-Sampling.
• Abstract（参考訳）: 離散拡散言語モデル(dLLM)は、最近、任意の順序でトークンを生成する柔軟性と並列復号化の可能性を提供し、従来の自己回帰アプローチに代わる有望な選択肢として登場した。 しかし、既存のヒューリスティックサンプリング戦略は依然として非効率であり、各ステップでサンプルするトークンのごく一部だけを選択し、改善の余地を残している。 本研究では,トークンサンプリング順序最適化の問題について検討し,その加速の可能性を示す。 具体的には、各ステップで正しい予測を十分に活用することで、精度を損なうことなく、サンプリングイテレーションの回数を桁違いに減らすことができる。 そこで我々は,ニューラルインジケータを用いて各ステップでどのトークンをサンプリングすべきかを決定する,一般的なサンプリング順序最適化フレームワークであるNeural Indicator Smpling (NI Smpling)を提案する。 さらに,この指標を学習するための新しい軌道保存目標を提案する。 複数のベンチマークを用いたLLaDAモデルとDreamモデルによる実験により,提案手法は無視可能な性能低下を伴うフルステップサンプリングよりも最大14.3$\times$Accelerationを実現し,精度-ステップトレードオフにおける信頼しきい値サンプリングを一貫して上回っていることがわかった。 コードはhttps://github.com/imagination-research/NI-Sampling.comで公開されている。

関連論文リスト

• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• One-Step Diffusion Samplers via Self-Distillation and Deterministic Flow [24.67443222055996]
  既存のサンプリングアルゴリズムは通常、高品質なサンプルを作成するために多くの反復的なステップを必要とする。 ステップ条件のODEを学習する1ステップ拡散サンプリング器を提案する。 標準のELBO推定値が数ステップで劣化するのは、よく見られる離散的な収差が前方/後方遷移カーネルと一致していないためである。
  論文  参考訳（メタデータ） (2025-12-04T20:57:53Z)
• p-less Sampling: A Robust Hyperparameter-Free Approach for LLM Decoding [10.595336643423229]
  $p$-less サンプリングは、サンプリングに対する情報理論のアプローチである。 トークン確率分布全体に基づいて、各復号ステップでトラクション閾値を動的に設定する。 温度が上昇するにつれて、常に高品質な出力を生成する。
  論文  参考訳（メタデータ） (2025-09-27T10:33:41Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Quantizing Diffusion Models from a Sampling-Aware Perspective [43.95032520555463]
  本稿では,混合次軌道アライメント手法を考案したサンプリング対応量子化手法を提案する。 複数のデータセットにまたがるスパースステップ高速サンプリング実験により,本手法は高速サンプリング器の高速収束特性を保っていることが示された。
  論文  参考訳（メタデータ） (2025-05-04T20:50:44Z)
• A Block Metropolis-Hastings Sampler for Controllable Energy-based Text Generation [78.81021361497311]
  我々は,大規模言語モデルの反復的プロンプトを通じて,各ステップにおけるシーケンス全体の書き直しを提案する新しいメトロポリス・ハスティングス(MH)サンプリング器を開発した。 対象分布からより効率的かつ正確なサンプリングが可能となり, (b) 事前に固定するのではなく, サンプリング手順により生成長を決定することが可能となった。
  論文  参考訳（メタデータ） (2023-12-07T18:30:15Z)
• Masked Generative Modeling with Enhanced Sampling Scheme [1.3927943269211591]
  拡張サンプリングスキーム(ESS)は、サンプルの多様性と忠実さの両方を保証する。 ESSは、Naive Iterative Decoding、Critical Reverse Smpling、Critical Resamplingの3つのステージで構成されている。 非条件サンプリングとクラス条件サンプリングの両方において、ESSの大幅な性能向上を示す。
  論文  参考訳（メタデータ） (2023-09-14T09:42:13Z)
• Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
  不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。 オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。 我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
  論文  参考訳（メタデータ） (2022-08-26T04:28:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。