論文の概要: Unlocking the Potential of Diffusion Language Models through Template Infilling

• arxiv url: http://arxiv.org/abs/2510.13870v1
• Date: Mon, 13 Oct 2025 12:33:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.500098
• Title: Unlocking the Potential of Diffusion Language Models through Template Infilling
• Title（参考訳）: テンプレート入力による拡散言語モデルの可能性の解錠
• Authors: Junhoo Lee, Seungyeon Kim, Nojun Kwak,
• Abstract要約: Diffusion Language Models (DLMs) は、自動回帰言語モデルに代わる有望な代替品として登場した。 DLMの生成プロセスに適した条件付け手法であるテンプレート埋め込み(TI)を提案する。 TIは, 生成品質を維持しつつ, 効率的な高速化を実現するため, マルチトークン生成設定においてさらなる優位性を提供することを示す。
• 参考スコア（独自算出の注目度）: 33.69224085914102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Language Models (DLMs) have emerged as a promising alternative to Autoregressive Language Models, yet their inference strategies remain limited to prefix-based prompting inherited from the autoregressive paradigm. In this paper, we propose Template Infilling (TI), a tailored conditioning methodology for DLMs' generation process. Unlike conventional prefix prompting, TI first generates a structural template for the target response, then fills in the masked segments. To enhance the flexibility of this structural control, we introduce Dynamic Segment Allocation (DSA), which adaptively adjusts segment lengths based on generation confidence. We demonstrate the effectiveness of our approach on mathematical reasoning and code generation benchmarks, achieving consistent improvements of 17.01$\%$p over baseline. Furthermore, we show that TI provides additional advantages in multi-token generation settings, enabling effective speedup while maintaining generation quality.
• Abstract（参考訳）: 拡散言語モデル(DLM)は自己回帰型言語モデルに代わる有望な代替手段として登場したが、推論戦略は自己回帰型パラダイムから継承されたプレフィックスベースのプロンプトに限られている。 本稿では,DLMの生成プロセスに適した条件付け手法であるテンプレート埋め込み(TI)を提案する。 従来のプレフィックスプロンプトとは異なり、TIはまずターゲット応答のための構造テンプレートを生成し、次にマスクされたセグメントを埋める。 この構造制御の柔軟性を高めるために、生成信頼度に基づいてセグメント長を適応的に調整する動的セグメント割当(DSA)を導入する。 数学的推論とコード生成ベンチマークにおける我々の手法の有効性を実証し、ベースライン上で17.01$\%$pの一貫性のある改善を実現した。 さらに、TIは、生成品質を維持しつつ、効率的なスピードアップを可能にするマルチトークン生成設定において、さらなるアドバンテージを提供することを示した。

関連論文リスト

• Improving Text Style Transfer using Masked Diffusion Language Models with Inference-time Scaling [37.795834398730555]
  仮面拡散言語モデル (MDMs) は近年,自然言語生成フレームワークとして注目を集めている。 本稿では,MDMの復調過程において,より優れた候補生成の探索を支援する検証器ベースの推論時間スケーリング手法を提案する。 実験では,標準テキストスタイルの転送タスクへのMDMの適用を実証し,自動回帰言語モデルのより良い代替手段としてMDMを確立する。
  論文  参考訳（メタデータ） (2025-08-14T18:01:22Z)
• Adaptive Classifier-Free Guidance via Dynamic Low-Confidence Masking [15.052244821404079]
  本稿では,モデルの予測信頼度を利用して非条件入力を調整する新しい手法であるAdaptive-Free Guidance (A-CFG)を紹介する。 A-CFGは、より効果的なガイダンスにつながる曖昧さの領域に焦点を当てている。 多様な言語生成ベンチマークの実験では、A-CFGは標準CFGよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-05-26T16:40:22Z)
• Latent Thought Models with Variational Bayes Inference-Time Computation [52.63299874322121]
  ラテント思考モデル(LTM)は、ラテント空間における明示的な事前モデルに従う明示的なラテント思考ベクトルを包含する。 LTMは自己回帰モデルや離散拡散モデルよりも優れたサンプルおよびパラメータ効率を示す。
  論文  参考訳（メタデータ） (2025-02-03T17:50:34Z)
• Chunk-Distilled Language Modeling [25.238256586953487]
  Chunk-Distilled Language Modeling (CD-LM)は、現在の大規模言語モデル(LLM)における2つの課題に対処するテキスト生成のアプローチである。 提案手法は,ディープネットワークベースのLCMと簡単な検索モジュールを組み合わせることで,単一のデコードステップでマルチトークンテキストチャンクを生成する。
  論文  参考訳（メタデータ） (2024-12-31T08:32:15Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Harnessing the Plug-and-Play Controller by Prompting [12.705251690623495]
  本稿では,事前学習言語モデル(PLM)を用いたテキスト生成におけるフレキシブル属性制御手法を提案する。 提案手法は、生成過程をPPCで導くことにより、生成したテキストの流布率を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-02-06T17:18:25Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
  本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。 意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
  論文  参考訳（メタデータ） (2023-06-05T01:36:39Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。