論文の概要: Prefix-Denoising Consistency: Test-Time Verification for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2608.25311v1
• Date: Wed, 26 Aug 2026 02:45:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.535517
• Title: Prefix-Denoising Consistency: Test-Time Verification for Diffusion Language Models
• Title（参考訳）: 事前修正型一貫性:拡散言語モデルにおけるテスト時間検証
• Authors: Yuki Ichihara, Naoto Iwase, Mohammad Atif Quamar, Junpei Komiyama,
• Abstract要約: 拡散言語モデル(DLM)のテスト時間自己検証手法であるPDC(emphPrefix-Denoising Consistency)を導入する。 PDCは、プレフィックス条件付き再生下でのDLMの特異なテスト時間信号を利用し、正しい軌道は不正確な信号よりも安定で再現性が高い。 これらの結果から, プレフィックス条件による再生は, テスト時間検証に有効なDLM固有のプリミティブであることがわかった。
• 参考スコア（独自算出の注目度）: 6.053609157192373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Language Models (DLMs) have recently become increasingly competitive with autoregressive (AR) models, and even outperform them on certain tasks. Unlike AR models, DLMs produce output through iterative denoising without a left-to-right order. To further improve the performance of DLMs, we introduce PDC (\emph{Prefix-Denoising Consistency}), a test-time self-verification method for DLMs. PDC exploits a distinctive test-time signal in DLMs under prefix conditioned regeneration, correct trajectories are more stable and reproducible than incorrect ones. Concretely, given an initially generated sample, PDC splits the sentence at an intermediate position and regenerates the remaining tokens conditioned on the fixed prefix. Across mathematical reasoning and commonsense reasoning benchmarks, PDC consistently improves upon the initial sample, outperforms independent generations under a computational constrained comparison, and is robust to different unmasking strategies and parameter settings. These results highlight prefix-conditioned regeneration as an effective DLM-specific primitive for test-time verification.
• Abstract（参考訳）: 拡散言語モデル(DLM)は、最近、自己回帰(AR)モデルとの競争が激化しており、特定のタスクにおいてそれらのモデルよりも優れています。 ARモデルとは異なり、DLMは左から右に並べることなく反復的復調によって出力を生成する。 DLMの自己検証手法であるPDC(\emph{Prefix-Denoising Consistency})を導入する。 PDCは、プレフィックス条件付き再生下でのDLMの特異なテスト時間信号を利用し、正しい軌道は不正確な信号よりも安定で再現性が高い。 具体的には、最初に生成されたサンプルが与えられたとき、PDCは文を中間位置で分割し、固定プレフィックスに条件付けられた残りのトークンを再生する。 数学的推論とコモンセンス推論のベンチマーク全体にわたって、PDCは初期サンプルを継続的に改善し、計算制約付き比較で独立世代を上回り、異なるアンマキング戦略やパラメータ設定に対して堅牢である。 これらの結果から, プレフィックス条件による再生は, テスト時間検証に有効なDLM固有のプリミティブであることがわかった。

関連論文リスト

• MLLM-Guided Semantic Correction for Text-to-Video Generation [66.7723669725808]
  マルチモーダルな大規模言語モデルフィードバックを統合した,トレーニングフリーで解釈可能な中間世代補正フレームワークを提案する。 セマンティック・アセスメント・スーパーバイザ (Semantic Assessment Supervisor) とセマンティック・アセスメント・アシスタント (Semantic Modification Assistant) という,セマンティック・アセスメント・スーパーバイザ (Semantic Assessment Supervisor) の2つの重要なモジュールを提案する。 本手法は, モデルパラメータを変更することなく, セマンティックアライメント, 視覚的忠実度, 時間的一貫性を改善する。
  論文  参考訳（メタデータ） (2026-08-17T12:54:10Z)
• Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
  マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
  論文  参考訳（メタデータ） (2026-06-09T13:17:27Z)
• Not All Denoising Steps Are Equal: Model Scheduling for Faster Masked Diffusion Language Models [6.4453302264198165]
  拡散フレームワークとモデルスケジューリングの柔軟性を利用して、より小さなMDLMがデノナイジングステップのサブセットでフルモデルを置き換える。 その結果,早期・後期段階は中段よりもかなり頑健であり,FLOPは最大17%減少することがわかった。 提案手法は, MDLMサンプリングを著しく高速化し, 生成品質を保ちながら, 簡易かつアーキテクチャに依存しないスケジューリング規則を適用できることを示唆する。
  論文  参考訳（メタデータ） (2026-02-04T13:04:58Z)
• Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
  LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。 テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。 そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
  論文  参考訳（メタデータ） (2026-02-02T09:14:51Z)
• Reproducing and Dissecting Denoising Language Models for Speech Recognition [31.91567892562116]
  音声認識(ASR)のための従来の言語モデル(LM)に代わる強力な代替手段として、DLM(Denoising Language Model)が提案されている。 本稿では,DLMの大規模独立研究について述べる。
  論文  参考訳（メタデータ） (2025-12-15T17:33:22Z)
• Simple Denoising Diffusion Language Models [32.08084107137018]
  我々は一様状態拡散モデル(USDM)の簡易化に基づく損失法を提案する。 対照的に負の勾配に着想を得たデノナイジング損失に簡単な修正を加え, 実用的であり, 生成品質の向上が期待できる。
  論文  参考訳（メタデータ） (2025-10-27T02:05:26Z)
• MRO: Enhancing Reasoning in Diffusion Language Models via Multi-Reward Optimization [66.82303841930752]
  拡散言語モデル (DLMs) は従来の自己回帰型大規模言語モデル (LLMs) に代わる有望な選択肢を提供する。 DLMは、特にデノナイジングステップの数が減少するにつれて、LLMよりも遅れている。 本稿では,マルチリワード最適化 (MRO) 手法を提案する。
  論文  参考訳（メタデータ） (2025-10-24T13:57:59Z)
• Saber: An Efficient Sampling with Adaptive Acceleration and Backtracking Enhanced Remasking for Diffusion Language Model [98.35868970993232]
  拡散言語モデル(DLM)は、支配的な自己回帰パラダイムに代わる強力で有望な選択肢として現れています。 コード生成における推論速度と出力品質の向上を実現するために,適応加速度を用いた効率的なサンプリングとバックトラック強化リマッシング(セイバー)を導入する。
  論文  参考訳（メタデータ） (2025-10-20T23:38:12Z)
• DLM-One: Diffusion Language Models for One-Step Sequence Generation [63.43422118066493]
  DLM-Oneは連続拡散言語モデルを用いた1ステップシーケンス生成のためのスコア蒸留ベースのフレームワークである。 DLM-Oneが言語モデリングにおけるサンプリング効率を大幅に向上できるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-05-30T22:42:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。