論文の概要: DLM-One: Diffusion Language Models for One-Step Sequence Generation

• arxiv url: http://arxiv.org/abs/2506.00290v1
• Date: Fri, 30 May 2025 22:42:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:32.673266
• Title: DLM-One: Diffusion Language Models for One-Step Sequence Generation
• Title（参考訳）: DLM-One: ワンステップシーケンス生成のための拡散言語モデル
• Authors: Tianqi Chen, Shujian Zhang, Mingyuan Zhou,
• Abstract要約: DLM-Oneは連続拡散言語モデルを用いた1ステップシーケンス生成のためのスコア蒸留ベースのフレームワークである。 DLM-Oneが言語モデリングにおけるサンプリング効率を大幅に向上できるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 63.43422118066493
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces DLM-One, a score-distillation-based framework for one-step sequence generation with continuous diffusion language models (DLMs). DLM-One eliminates the need for iterative refinement by aligning the scores of a student model's outputs in the continuous token embedding space with the score function of a pretrained teacher DLM. We investigate whether DLM-One can achieve substantial gains in sampling efficiency for language modeling. Through comprehensive experiments on DiffuSeq -- a representative continuous DLM -- we show that DLM-One achieves up to ~500x speedup in inference time while maintaining competitive performance on benchmark text generation tasks used to evaluate the teacher models. We further analyze the method's empirical behavior across multiple datasets, providing initial insights into its generality and practical applicability. Our findings position one-step diffusion as a promising direction for efficient, high-quality language generation and broader adoption of continuous diffusion models operating in embedding space for natural language processing.
• Abstract（参考訳）: 本稿では,連続拡散言語モデル(DLM)を用いた一段階シーケンス生成のためのスコア蒸留フレームワークであるDLM-Oneを紹介する。 DLM-Oneは、学生モデルの出力のスコアを、予め訓練された教師DLMのスコア関数と連続トークン埋め込み空間に整合させることにより、反復的洗練の必要性を解消する。 DLM-Oneが言語モデリングにおけるサンプリング効率を大幅に向上できるかどうかを検討する。 DLM-Oneは、DiffuSeqの総合的な実験を通じて、教師モデルを評価するために使われるテキスト生成タスクの競合性能を維持しながら、推論時間において最大で500倍のスピードアップを達成することを示す。 さらに、複数のデータセットにまたがる手法の経験的振る舞いを分析し、その汎用性と実用性に関する最初の洞察を提供する。 本研究は, 自然言語処理のための埋め込み空間において, 効率的かつ高品質な言語生成と, 連続拡散モデルの適用に期待できる方向として, ワンステップ拡散を位置づけたものである。

関連論文リスト

• Enhanced Continual Learning of Vision-Language Models with Model Fusion [16.764069327701186]
  VLM(Vision-Language Models)は、人工知能のブレークスルーである。 VLMは、複数の下流タスクで連続的に微調整されたときに、破滅的な忘れをしがちである。 本稿では,連続的な学習にモデル融合を導入することで,新しいアプローチであるConDUを提案する。
  論文  参考訳（メタデータ） (2025-03-12T15:48:13Z)
• Multimodal Latent Language Modeling with Next-Token Diffusion [111.93906046452125]
  マルチモーダル生成モデルは、離散データ(テキストやコードなど)と連続データ(画像、オーディオ、ビデオなど)の両方を扱う統一的なアプローチを必要とする。 因果変換器を用いて連続データと離散データをシームレスに統合する潜在言語モデリング(LatentLM)を提案する。
  論文  参考訳（メタデータ） (2024-12-11T18:57:32Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Aligning Language Models with Demonstrated Feedback [58.834937450242975]
  Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。 我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
  論文  参考訳（メタデータ） (2024-06-02T23:13:56Z)
• SLMRec: Distilling Large Language Models into Small for Sequential Recommendation [38.51895517016953]
  シーケンシャルレコメンデーションタスクでは、過去のインタラクションを考慮して、ユーザが対話する可能性のある次の項目を予測する。 最近の研究は、LCMがシーケンシャルレコメンデーションシステムに与える影響を実証している。 LLM の巨大なサイズのため、現実のプラットフォームに LLM ベースのモデルを適用するのは非効率で実用的ではない。
  論文  参考訳（メタデータ） (2024-05-28T07:12:06Z)
• Diffusion Language Models Generation Can Be Halted Early [4.726777092009553]
  拡散言語モデル (DLMs) は, トラクタブル・コントロール可能生成における実用性から, テキスト生成の道のりとして有望である。 これら2種類の言語モデルのパフォーマンスギャップを減らす方法の1つは、DLMの生成を高速化することである。 本稿では,この問題に対処するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-18T08:56:05Z)
• Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
  事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。 さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T13:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。