論文の概要: SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control

• arxiv url: http://arxiv.org/abs/2210.17432v1
• Date: Mon, 31 Oct 2022 16:02:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 15:32:18.575135
• Title: SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control
• Title（参考訳）: SSD-LM:テキスト生成とモジュール制御のための半自己回帰型Simplexベース拡散言語モデル
• Authors: Xiaochuang Han, Sachin Kumar, Yulia Tsvetkov
• Abstract要約: SSD-LMは2つの重要な設計上の選択肢を持つ拡散言語モデルである。 半自己回帰的であり、反復的にテキストのブロックを生成し、復号時にフレキシブルな出力長を可能にする。 単純基であり、学習された潜在空間ではなく自然語彙空間上で拡散する。
• 参考スコア（独自算出の注目度）: 35.865188519566004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the growing success of diffusion models in continuous-valued domains (e.g., images), diffusion-based language models on discrete text have yet to match autoregressive language models on text generation benchmarks. In this work, we present SSD-LM -- a diffusion language model with two key design choices. First, SSD-LM is semi-autoregressive, iteratively generating blocks of text, allowing for flexible output length at decoding time while enabling local bidirectional context updates. Second, it is simplex-based, performing diffusion on the natural vocabulary space rather than a learned latent space, allowing us to incorporate classifier guidance and modular control without any adaptation of off-the-shelf classifiers. We evaluate SSD-LM on unconstrained as well as controlled text generation benchmarks, and show that it matches or outperforms strong autoregressive GPT-2 baselines across standard quality and diversity metrics.
• Abstract（参考訳）: 連続値領域(例えば画像)における拡散モデルの成功にもかかわらず、離散テキスト上の拡散ベースの言語モデルは、テキスト生成ベンチマーク上の自己回帰言語モデルとはまだ一致していない。 本稿では,2つの重要な設計選択肢を持つ拡散言語モデルであるSSD-LMを提案する。 まず、SSD-LMは半自己回帰的で、反復的にテキストのブロックを生成し、復号時にフレキシブルな出力長を実現し、局所的な双方向コンテキスト更新を可能にする。 第二に、これは単純で、学習された潜在空間ではなく自然語彙空間上で拡散し、既成の分類器の適応なしに分類器誘導とモジュラー制御を組み込むことができる。 制御されたテキスト生成ベンチマークと同様に、制約のないSSD-LMの評価を行い、標準品質と多様性の指標で強い自己回帰性GPT-2ベースラインに適合または優れることを示す。

関連論文リスト

• DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。 我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
  論文  参考訳（メタデータ） (2024-06-07T19:38:05Z)
• CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning [59.88924847995279]
  MTSFのためのクロスモーダルLCMファインチューニング(CALF)フレームワークを提案する。 分散の相違を低減するため,クロスモーダルマッチングモジュールを開発した。 CALFは、長期および短期の予測タスクの最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2024-03-12T04:04:38Z)
• Text-Guided Molecule Generation with Diffusion Language Model [23.170313481324598]
  拡散言語モデル(TGM-DLM)を用いたテキストガイド型分子生成法を提案する。 TGM-DLMは、2相拡散生成プロセスを用いてSMILES文字列内にトークンの埋め込みをまとめ、反復的に更新する。 我々は、TGM-DLMが、追加のデータリソースを必要とせずに、自動回帰モデルであるMolT5-Baseより優れていることを実証する。
  論文  参考訳（メタデータ） (2024-02-20T14:29:02Z)
• LLM-grounded Video Diffusion Models [57.23066793349706]
  ビデオ拡散モデルは、ニューラル・テンポラル・ジェネレーションのための有望なツールとして登場した。 現在のモデルはプロンプトに苦しむが、しばしば制限されたり、誤った動きをする。 LLM-grounded Video Diffusion (LVD)を紹介する。 以上の結果から,LVDはベース映像拡散モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2023-09-29T17:54:46Z)
• LLM-grounded Diffusion: Enhancing Prompt Understanding of Text-to-Image Diffusion Models with Large Language Models [62.75006608940132]
  本研究は,テキストから画像への拡散モデルにおいて,迅速な理解能力を高めることを提案する。 提案手法は,新たな2段階プロセスにおいて,事前訓練された大規模言語モデルを用いてグラウンドド生成を行う。 提案手法は,画像の正確な生成において,ベース拡散モデルといくつかの強いベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2023-05-23T03:59:06Z)
• Diffusion Language Models Generation Can Be Halted Early [4.726777092009553]
  拡散言語モデル (DLMs) は, トラクタブル・コントロール可能生成における実用性から, テキスト生成の道のりとして有望である。 これら2種類の言語モデルのパフォーマンスギャップを減らす方法の1つは、DLMの生成を高速化することである。 本稿では,この問題に対処するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-18T08:56:05Z)
• TESS: Text-to-Text Self-Conditioned Simplex Diffusion [56.881170312435444]
  テキストからテキストへの自己条件付きSimplex Diffusionは、新しい形式のセルフコンディショニングを採用し、学習された埋め込み空間ではなく、ロジット単純空間に拡散プロセスを適用する。 我々は、TESSが最先端の非自己回帰モデルより優れており、性能の低下を最小限に抑えた拡散ステップを少なくし、事前訓練された自己回帰列列列列モデルと競合することを示した。
  論文  参考訳（メタデータ） (2023-05-15T06:33:45Z)
• Self-conditioned Embedding Diffusion for Text Generation [28.342735885752493]
  自己条件埋め込み拡散(Self-conditioned Embedding Diffusion)は、トークンの埋め込みで動作する連続拡散機構である。 テキスト拡散モデルでは,標準自己回帰言語モデルに匹敵するサンプルを生成する。
  論文  参考訳（メタデータ） (2022-11-08T13:30:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。