論文の概要: Unlocking Prompt Infilling Capability for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2604.03677v1
• Date: Sat, 04 Apr 2026 10:26:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.718385
• Title: Unlocking Prompt Infilling Capability for Diffusion Language Models
• Title（参考訳）: 拡散言語モデルにおけるアンロックプロンプト入力機能
• Authors: Yoshinari Fujinuma, Keisuke Sakaguchi,
• Abstract要約: マスケード拡散言語モデル (dLM) は双方向の認知を通じてテキストを生成するが、この機能は入力プロンプトにロックされている。 この制限は、応答のみのマスキングを適用する、現在の教師付き微調整(SFT)規約の成果物である。 我々は、SFT中のフルシーケンスマスキングを拡張し、プロンプトとレスポンスを共にマスクする。
• 参考スコア（独自算出の注目度）: 13.514008735808252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion language models (dLMs) generate text through bidirectional denoising, yet this capability remains locked for infilling prompts. This limitation is an artifact of the current supervised finetuning (SFT) convention of applying response-only masking. To unlock this capability, we extend full-sequence masking during SFT, where both prompts and responses are masked jointly. Once unlocked, the model infills masked portions of a prompt template conditioned on few-shot examples. We show that such model-infilled prompts match or surpass manually designed templates, transfer effectively across models, and are complementary to existing prompt optimization methods. Our results suggest that training practices, not architectural limitations, are the primary bottleneck preventing masked diffusion language models from infilling effective prompts
• Abstract（参考訳）: マスケード拡散言語モデル (dLM) は双方向の認知を通じてテキストを生成するが、この機能は入力プロンプトにロックされている。 この制限は、応答のみのマスキングを適用する、現在の教師付き微調整(SFT)規約の成果物である。 この能力を解き放つため、SFT中のフルシーケンスマスキングを拡張し、プロンプトと応答を共にマスキングする。 アンロックされると、モデルはプロンプトテンプレートのマスクされた部分を埋め込み、数ショットの例で条件付けする。 このようなモデルを組み込んだプロンプトが手作業で設計したテンプレートと一致しているか,あるいは超越しているかを示し,既存のプロンプト最適化手法を補完することを示す。 以上の結果から,建築的制約ではなくトレーニング実践が,マスク付き拡散言語モデルが効果的なプロンプトを埋め込むのを防ぐ主要なボトルネックである可能性が示唆された。

関連論文リスト

• Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion [60.186310080523135]
  離散データ(テキスト)に対する自己回帰的アプローチと連続データ(画像)に対する拡散的アプローチへの生成的モデリングの分岐は、真に統一されたマルチモーダルシステムの開発を妨げる。 階層的二重プロセスとしてマルチモーダル生成を再構成する新しい確率的フレームワークである textbfCoM-DAD を提案する。 提案手法は、標準的なマスキングモデルよりも優れた安定性を示し、スケーラブルで統一されたテキスト画像生成のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2026-01-07T16:21:19Z)
• Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models [63.50827603618498]
  提案するSparse-LaViDaは,MDMサンプリングを高速化するために,各推論ステップで不要なマスク付きトークンをトランケートするモデリングフレームワークである。 最先端の統一MDM LaViDa-Oをベースに構築されたSparse-LaViDaは、さまざまなタスクで最大2倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-12-16T02:06:06Z)
• Soft-Masked Diffusion Language Models [35.191030145577145]
  マスクトークンの埋め込みと,上位k$の予測トークンの埋め込みを動的にブレンドする新しい手法であるソフトマスキング(SM)を導入する。 SMを用いた169Mパラメータモデルの事前学習を継続すると、パープレキシティとMAUVEスコアが向上することを示した。 最新の拡散モデルDream-7BとDream-Coder-7BをSMで微調整する。
  論文  参考訳（メタデータ） (2025-10-20T06:42:03Z)
• ACT-MNMT Auto-Constriction Turning for Multilingual Neural Machine Translation [38.30649186517611]
  この課題はtextbfunderlineAuto-textbfunderlineConstriction textbfunderlineTurning mechanism for textbfunderlineMultilingual textbfunderlineNeural textbfunderlineMachine textbfunderlineTranslation (model)を導入している。
  論文  参考訳（メタデータ） (2024-03-11T14:10:57Z)
• LLM-grounded Diffusion: Enhancing Prompt Understanding of Text-to-Image Diffusion Models with Large Language Models [62.75006608940132]
  本研究は,テキストから画像への拡散モデルにおいて,迅速な理解能力を高めることを提案する。 提案手法は,新たな2段階プロセスにおいて,事前訓練された大規模言語モデルを用いてグラウンドド生成を行う。 提案手法は,画像の正確な生成において,ベース拡散モデルといくつかの強いベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2023-05-23T03:59:06Z)
• Position-based Prompting for Health Outcome Generation [0.0]
  そこで本研究では,各単語の位置情報をマスクに対するプロンプトで捕捉する位置認識機構について検討する。 我々のアプローチは、デフォルトのマスク言語モデル(MLM)表現がマスクトークンの予測に使用されるベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2022-03-30T16:44:04Z)
• UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training [152.63467944568094]
  本稿では,自動エンコーディングと部分的自己回帰型言語モデリングタスクの両方に対して,統一言語モデルを事前学習することを提案する。 実験の結果,PMLMを用いて事前学習した統一言語モデルは,多種多様な自然言語理解・生成タスクにおいて,新たな最先端の成果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-02-28T15:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。