論文の概要: Time-Annealed Perturbation Sampling: Diverse Generation for Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2601.22629v1
- Date: Fri, 30 Jan 2026 06:39:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-02 18:28:15.275021
- Title: Time-Annealed Perturbation Sampling: Diverse Generation for Diffusion Language Models
- Title（参考訳）: 時間短縮摂動サンプリング:拡散言語モデルのための逆生成
- Authors: Jingxuan Wu, Zhenglin Wan, Xingrui Yu, Yuzhe Yang, Yiqiao Huang, Ivor Tsang, Yang You,
- Abstract要約: 拡散言語モデル (Diffusion-LMs) はテキスト生成に明示的な時間次元を導入する。
画像生成における拡散モデルと同様に拡散-LMは時間的分業を示す。
拡散過程の早期にセマンティック分岐を促すトレーニングフリー推論戦略である,TAPS(Time-Annealed Perturbation Smpling)を提案する。
TAPSはLLaDAとTraDoで実証された非自己回帰的・半自己回帰的拡散のバックボーンと互換性があり、生成品質を損なうことなく創造的記述や推論ベンチマークの出力の多様性を一貫して改善する。
- 参考スコア（独自算出の注目度）: 11.196851704643406
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion language models (Diffusion-LMs) introduce an explicit temporal dimension into text generation, yet how this structure can be leveraged to control generation diversity for exploring multiple valid semantic or reasoning paths remains underexplored. In this paper, we show that Diffusion-LMs, like diffusion models in image generation, exhibit a temporal division of labor: early denoising steps largely determine the global semantic structure, while later steps focus on local lexical refinement. Building on this insight, we propose Time-Annealed Perturbation Sampling (TAPS), a training-free inference strategy that encourages semantic branching early in the diffusion process while progressively reducing perturbations to preserve fluency and instruction adherence. TAPS is compatible with both non-autoregressive and semi-autoregressive Diffusion backbones, demonstrated on LLaDA and TraDo in our paper, and consistently improves output diversity across creative writing and reasoning benchmarks without compromising generation quality.
- Abstract（参考訳）: 拡散言語モデル (Diffusion-LMs) はテキスト生成に明示的な時間次元を導入するが、この構造をどのように利用して複数の有効な意味論や推論経路を探索するための生成の多様性を制御することができるかは未解明のままである。
本稿では,画像生成における拡散モデルと同様,拡散-LMは時間的な分業を示すことを示す。
この知見に基づいて,拡散過程の早期に意味分岐を促すとともに,摂動を段階的に減らし,流感と命令の順応を保ちつつ,トレーニング不要な推論戦略であるTAPSを提案する。
TAPSはLLaDAとTraDoで実証された非自己回帰的・半自己回帰的拡散のバックボーンと互換性があり、生成品質を損なうことなく創造的記述や推論ベンチマークの出力の多様性を一貫して改善する。
関連論文リスト
- Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion [60.186310080523135]
離散データ(テキスト)に対する自己回帰的アプローチと連続データ(画像)に対する拡散的アプローチへの生成的モデリングの分岐は、真に統一されたマルチモーダルシステムの開発を妨げる。
階層的二重プロセスとしてマルチモーダル生成を再構成する新しい確率的フレームワークである textbfCoM-DAD を提案する。
提案手法は、標準的なマスキングモデルよりも優れた安定性を示し、スケーラブルで統一されたテキスト画像生成のための新しいパラダイムを確立する。
論文 参考訳（メタデータ） (2026-01-07T16:21:19Z) - On the Role of Discreteness in Diffusion LLMs [69.64854287505999]
拡散過程と言語モデリングの観点を再考し、拡散力学と言語固有の要件を分離する5つの特性を概説する。
i) 均一な汚職は、どのように情報を配置するかを尊重せず、 (ii) トークンワイドの辺縁トレーニングは、並列デコーディング中にマルチトークンの依存関係をキャプチャできない。
これらの観察は、テキストの構造とより密接に一致した拡散過程を動機付け、より一貫性のある拡散言語モデルに向けた将来の研究を促進する。
論文 参考訳（メタデータ） (2025-12-27T16:03:08Z) - LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning [30.62691333490551]
大規模言語モデル(LLM)は、思考の連鎖生成を通じて推論能力を示す。
連続潜在表現の表現性を統一する新しい推論フレームワークであるLaDiRを提案する。
LaDiRは、既存の自己回帰的、拡散的、潜伏的推論方法よりも、精度、多様性、解釈性を一貫して改善する。
論文 参考訳（メタデータ） (2025-10-06T08:15:03Z) - Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。
中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。
大規模な実験ではPPADの大幅な改善が示されている。
論文 参考訳（メタデータ） (2025-05-26T14:42:35Z) - Segment-Level Diffusion: A Framework for Controllable Long-Form Generation with Diffusion Language Models [12.446047799880587]
トークンレベルの拡散は、単語順依存を明示的にモデル化しない。
パッセージレベルの拡散は、長文の堅牢な表現を学習するのに苦労する。
拡散に基づくテキスト生成を促進するフレームワークであるSegment-Level Diffusionを提案する。
論文 参考訳（メタデータ） (2024-12-15T22:47:44Z) - Improved Paraphrase Generation via Controllable Latent Diffusion [60.479643304122504]
textitLatent textitDiffusion textitParaphraser(LDP)を提案する。
実験の結果,LDPはベースラインよりもパラフレーズ生成の質や多様性をよく再現できることがわかった。
論文 参考訳（メタデータ） (2024-04-13T09:24:32Z) - Text Diffusion with Reinforced Conditioning [92.17397504834825]
本稿では,テキスト拡散モデルを完全に解析し,トレーニング中の自己条件の劣化と,トレーニングとサンプリングのミスアライメントの2つの重要な限界を明らかにする。
そこで本研究では, TRECと呼ばれる新しいテキスト拡散モデルを提案する。
論文 参考訳（メタデータ） (2024-02-19T09:24:02Z) - A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。
具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。
我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
論文 参考訳（メタデータ） (2023-04-10T17:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。