論文の概要: Is Your Diffusion Sampler Actually Correct? A Sampler-Centric Evaluation of Discrete Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2602.19619v1
• Date: Mon, 23 Feb 2026 09:06:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.741788
• Title: Is Your Diffusion Sampler Actually Correct? A Sampler-Centric Evaluation of Discrete Diffusion Language Models
• Title（参考訳）: 拡散サンプリングは本当に正しいのか?離散拡散言語モデルのサンプリング中心評価
• Authors: Luhan Tang, Longxuan Yu, Shaorong Zhang, Greg Ver Steeg,
• Abstract要約: そこで,本研究では,学習したデノイザを,基底構造マルコフ連鎖から派生した正確な隠れマルコフモデルに置き換える,サンプル中心のオラクルフレームワークを提案する。 数ステップの離散拡散サンプリング器は, オラクル・デノイザの下でも分布が正しくないことを示し, ステップ数が列長に近づくと, 遷移レベルのミスマッチが消えることを示した。
• 参考スコア（独自算出の注目度）: 14.764619905977739
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion language models (dLLMs) provide a fast and flexible alternative to autoregressive models (ARMs) via iterative denoising with parallel updates. However, their evaluation is challenging: existing metrics conflate denoiser approximation error with sampler-induced error from the sampling dynamics, a problem that does not arise for ARMs whose autoregressive sampling exactly reflects the learned probability model. We introduce a sampler-centric oracle framework that replaces learned denoisers with an exact Hidden Markov Model posterior derived from a ground-truth Markov chain, isolating sampler-induced error in a controlled setting. We show that few-step discrete diffusion samplers are not distributionally correct even under an oracle denoiser, with transition-level mismatch that vanishes only as the number of steps approaches the sequence length. Moreover, improvements in negative log-likelihood, generative perplexity, or MAUVE do not imply correct sampling. Code is available at https://luhantang.github.io/dllm_sampler
• Abstract（参考訳）: 離散拡散言語モデル(dLLMs)は、並列更新による反復的記述を通じて、自動回帰モデル(ARMs)の高速で柔軟な代替手段を提供する。 既存のメトリクスはサンプリングダイナミクスからサンプリングされたサンプリングエラーとdenoiser近似誤差を記述しており、自動回帰サンプリングが学習確率モデルを正確に反映しているARMには発生しない。 そこで,本研究では,学習用デノイザを,接地型マルコフ連鎖から派生した正確な隠れマルコフモデルに置き換えて,サンプルが引き起こす誤差を制御条件で分離する,サンプル中心のオラクルフレームワークを提案する。 数ステップの離散拡散サンプリング器は, オラクル・デノイザの下でも分布が正しくないことを示し, ステップ数が列長に近づくと, 遷移レベルのミスマッチが消えることを示した。 さらに, 陰性ログ類似度, 生成的パープレキシティ, MAUVEの改善は, サンプリングの正確さを示唆しない。 コードはhttps://luhantang.github.io/dllm_samplerで入手できる。

関連論文リスト

• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Corrected Samplers for Discrete Flow Models [36.348940136801296]
  近年の研究では、タウ・リーピングやオイラー・ソルバのような離散拡散モデルのサンプルについて研究されている。 遷移率やソース分布に制限を加えることなく,非漸近的離散化誤差境界を確立する。 位置補正されたサンプリング器は,既存の並列サンプリング器よりも複雑さが低いことを厳密に示す。
  論文  参考訳（メタデータ） (2026-01-30T03:53:22Z)
• Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions [50.1404916337174]
  大規模言語モデル(LLM)における母国語の確率的サンプリングの大規模,統計的に活用された最初の監査について述べる。 バッチ生成は, ほぼ完全に崩壊する一方, 中央値のパスレートが13%であり, 統計的妥当性はわずかであることがわかった。 現在のLCMには機能的な内部サンプルが欠如しており、統計的保証を必要とするアプリケーションに外部ツールを使う必要があると結論付けている。
  論文  参考訳（メタデータ） (2026-01-08T22:33:12Z)
• Flipping Against All Odds: Reducing LLM Coin Flip Bias via Verbalized Rejection Sampling [59.133428586090226]
  大規模言語モデル(LLM)は、しばしば自然言語を用いて確率分布を正確に記述することができる。 このミスマッチはモンテカルロ法、エージェントベースのシミュレーション、ランダム化された意思決定などの信頼性を必要とするタスクでの使用を制限する。 本稿では,古典的リジェクションサンプリングの自然言語適応であるVerbalized Rejection Smpling (VRS)を紹介する。
  論文  参考訳（メタデータ） (2025-06-11T17:59:58Z)
• DDB: Diffusion Driven Balancing to Address Spurious Correlations [24.940576844328408]
  経験的リスク最小化でトレーニングされたディープニューラルネットワークは、アウト・オブ・ディストリビューションのサンプルに一般化できないことが多い。 テキストと画像の拡散モデルを用いたトレーニングサンプルを生成するための拡散駆動バランス(DDB)手法を提案する。 実験の結果,本手法は既存の最先端手法よりもグループ精度がよいことがわかった。
  論文  参考訳（メタデータ） (2025-03-21T15:28:22Z)
• Distributional Diffusion Models with Scoring Rules [83.38210785728994]
  拡散モデルは高品質な合成データを生成する。 高品質な出力を生成するには、多くの離散化ステップが必要です。 クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
  論文  参考訳（メタデータ） (2025-02-04T16:59:03Z)
• Informed Correctors for Discrete Diffusion Models [27.295990499157814]
  離散拡散モデルに対する予測・相関型サンプリング手法を提案する。 情報補正器は,誤差が少なく,FIDスコアが向上した優れたサンプルを連続的に生成することを示す。 本結果は,離散拡散を用いた高速かつ高忠実な生成のための情報補正器の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2024-07-30T23:29:29Z)
• Diffusion Rejection Sampling [13.945372555871414]
  Diffusion Rejection Sampling (DiffRS) は、サンプリングされたトランジションカーネルを各タイムステップで真のカーネルと整列するリジェクションサンプリングスキームである。 提案手法は, 各中間段階における試料の品質を評価し, 試料に応じて異なる作業で精製する機構とみなすことができる。 実験により,ベンチマークデータセット上でのDiffRSの最先端性能と高速拡散サンプリングおよび大規模テキスト・画像拡散モデルに対するDiffRSの有効性を実証した。
  論文  参考訳（メタデータ） (2024-05-28T07:00:28Z)
• Improved Denoising Diffusion Probabilistic Models [4.919647298882951]
  その結果,ddpmは高いサンプル品質を維持しつつ,競合的なログライク性を達成できることがわかった。 また,逆拡散過程の学習分散により,フォワードパスが桁違いに小さくサンプリングできることがわかった。 これらのモデルのサンプルの品質と可能性について,モデルのキャパシティとトレーニング計算でスムーズに拡張できることを示し,スケーラビリティを向上する。
  論文  参考訳（メタデータ） (2021-02-18T23:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。