論文の概要: Diffusion Guided Language Modeling

• arxiv url: http://arxiv.org/abs/2408.04220v1
• Date: Thu, 8 Aug 2024 05:06:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 16:40:03.132107
• Title: Diffusion Guided Language Modeling
• Title（参考訳）: 拡散誘導言語モデリング
• Authors: Justin Lovelace, Varsha Kishore, Yiwei Chen, Kilian Q. Weinberger,
• Abstract要約: 多くのアプリケーションでは、感情など、生成された言語の属性を制御することが望ましい。 自動回帰言語モデルでは、既存のガイダンス手法は、生成時にカスケードしたエラーをデコードし、性能を低下させる。 本稿では,自己回帰型言語モデルを用いて所望の特性を持つテキストを生成するための遅延提案を誘導拡散モデルを用いて生成する。
• 参考スコア（独自算出の注目度）: 28.819061884362792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current language models demonstrate remarkable proficiency in text generation. However, for many applications it is desirable to control attributes, such as sentiment, or toxicity, of the generated language -- ideally tailored towards each specific use case and target audience. For auto-regressive language models, existing guidance methods are prone to decoding errors that cascade during generation and degrade performance. In contrast, text diffusion models can easily be guided with, for example, a simple linear sentiment classifier -- however they do suffer from significantly higher perplexity than auto-regressive alternatives. In this paper we use a guided diffusion model to produce a latent proposal that steers an auto-regressive language model to generate text with desired properties. Our model inherits the unmatched fluency of the auto-regressive approach and the plug-and-play flexibility of diffusion. We show that it outperforms previous plug-and-play guidance methods across a wide range of benchmark data sets. Further, controlling a new attribute in our framework is reduced to training a single logistic regression classifier.
• Abstract（参考訳）: 現在の言語モデルは、テキスト生成において顕著な熟練を示している。 しかし、多くのアプリケーションにとって、生成された言語の感情や毒性などの属性を制御することが望ましい。 自動回帰言語モデルでは、既存のガイダンス手法は、生成時にカスケードしたエラーをデコードし、性能を低下させる。 対照的に、テキスト拡散モデルは、例えば単純な線形感情分類器で簡単にガイドすることができる。 本稿では,自己回帰型言語モデルを用いて所望の特性を持つテキストを生成するための遅延提案を誘導拡散モデルを用いて生成する。 本モデルでは, 自己回帰アプローチの非整合流性と, 拡散のプラグアンドプレイの柔軟性を継承する。 従来のプラグ・アンド・プレイ誘導手法よりも幅広いベンチマークデータセットで優れていることを示す。 さらに、我々のフレームワークにおける新しい属性を制御することは、単一のロジスティック回帰分類器のトレーニングに還元される。

関連論文リスト

• Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models [100.53662473219806]
  Diffusion-of-Thought (DoT) は、拡散モデルとChain-of-Thoughtを統合する新しいアプローチである。 DoTは、拡散言語モデルを通じて、時間とともに推論ステップが拡散することを可能にする。 本研究は,多桁乗算,論理学,小学校数学におけるDoTの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-12T16:23:28Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
  本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。 意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
  論文  参考訳（メタデータ） (2023-06-05T01:36:39Z)
• TESS: Text-to-Text Self-Conditioned Simplex Diffusion [56.881170312435444]
  テキストからテキストへの自己条件付きSimplex Diffusionは、新しい形式のセルフコンディショニングを採用し、学習された埋め込み空間ではなく、ロジット単純空間に拡散プロセスを適用する。 我々は、TESSが最先端の非自己回帰モデルより優れており、性能の低下を最小限に抑えた拡散ステップを少なくし、事前訓練された自己回帰列列列列モデルと競合することを示した。
  論文  参考訳（メタデータ） (2023-05-15T06:33:45Z)
• Self-conditioned Embedding Diffusion for Text Generation [28.342735885752493]
  自己条件埋め込み拡散(Self-conditioned Embedding Diffusion)は、トークンの埋め込みで動作する連続拡散機構である。 テキスト拡散モデルでは,標準自己回帰言語モデルに匹敵するサンプルを生成する。
  論文  参考訳（メタデータ） (2022-11-08T13:30:27Z)
• DiffusER: Discrete Diffusion via Edit-based Reconstruction [88.62707047517914]
  DiffusERは、拡散モデルに基づくテキストの編集ベースの生成モデルである。 機械翻訳、要約、スタイル転送にまたがるいくつかのタスクにおいて、自動回帰モデルと競合する可能性がある。 また、標準的な自己回帰モデルに適さないような、他の種類の世代も実行することができる。
  論文  参考訳（メタデータ） (2022-10-30T16:55:23Z)
• Collocation2Text: Controllable Text Generation from Guide Phrases in Russian [0.0]
  Collocation2Textはロシア語で自動制御可能なテキスト生成のためのプラグイン・アンド・プレイ方式である。 この手法は、自己回帰言語ruGPT-3モデルと自己符号化言語ruRoBERTaモデルという2つの相互作用モデルに基づいている。 提案手法を用いてニュース記事を生成する実験は,自動生成された流布文に対して有効性を示した。
  論文  参考訳（メタデータ） (2022-06-18T17:10:08Z)
• Attribute Alignment: Controlling Text Generation from Pre-trained Language Models [46.19190007510232]
  本論文では, テキスト生成を簡便かつ柔軟に制御する手法を提案する。 属性のトークンレベル分布を乱すように識別器を訓練する最近の取り組みとは対照的に、同じデータを用いてアライメント関数を学習し、トレーニング済みの非制御言語モデルを誘導し、元の言語モデルパラメータを変更することなく、ターゲット属性を持つテキストを生成する。
  論文  参考訳（メタデータ） (2021-03-20T01:51:32Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。