論文の概要: Understanding the Quality-Diversity Trade-off in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2503.10683v1
• Date: Tue, 11 Mar 2025 17:18:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:09:22.601159
• Title: Understanding the Quality-Diversity Trade-off in Diffusion Language Models
• Title（参考訳）: 拡散言語モデルにおける品質・多様性トレードオフの理解
• Authors: Zak Buzzard,
• Abstract要約: 拡散モデルは、視覚やオーディオなど、さまざまな領域にわたる連続的なデータをモデル化するために使用することができる。 最近の研究は、連続的な埋め込み空間で作業することで、テキスト生成への応用を探求している。 モデルは品質と多様性の間の本質的にのトレードオフを制御する自然な手段を欠いている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Diffusion models have seen immense success in modelling continuous data across a range of domains such as vision and audio. Despite the challenges of adapting diffusion models to discrete data, recent work explores their application to text generation by working in the continuous embedding space. However, these models lack a natural means to control the inherent trade-off between quality and diversity as afforded by the temperature hyperparameter in autoregressive models, hindering understanding of model performance and restricting generation quality. This work proposes the use of classifier-free guidance and stochastic clamping for manipulating the quality-diversity trade-off on sequence-to-sequence tasks, demonstrating that these techniques may be used to improve the performance of a diffusion language model.
• Abstract（参考訳）: 拡散モデルは、視覚やオーディオなど、さまざまな領域で連続したデータをモデル化することに成功した。 拡散モデルを離散データに適用することの課題にもかかわらず、最近の研究は連続的な埋め込み空間で作業することでテキスト生成に適用することを模索している。 しかし、これらのモデルには、自己回帰モデルにおける温度ハイパーパラメータによって得られる品質と多様性の固有のトレードオフを制御する自然な手段が欠けているため、モデル性能の理解が妨げられ、生成品質が制限される。 本研究は,シーケンス・ツー・シーケンスのタスクにおける品質・多様性のトレードオフを操作するために,分類器フリーガイダンスと確率的クラッピングを用いることを提案し,これらの手法が拡散言語モデルの性能向上に有効であることを示した。

関連論文リスト

• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• MG-TSD: Multi-Granularity Time Series Diffusion Models with Guided Learning Process [26.661721555671626]
  本稿では,最先端の予測性能を実現する新しい多粒度時系列(MG-TSD)モデルを提案する。 われわれのアプローチは外部データに頼らず、様々な領域にまたがって汎用的で適用可能である。
  論文  参考訳（メタデータ） (2024-03-09T01:15:03Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Expanding Expressiveness of Diffusion Models with Limited Data via Self-Distillation based Fine-Tuning [24.791783885165923]
  限られたデータセット上での拡散モデルの訓練は、限られた生成能力と表現性の観点から問題を引き起こす。 これらの課題に対処するために、SDFT(Self-Distillation for Fine-Tuning diffusion model)を提案する。
  論文  参考訳（メタデータ） (2023-11-02T06:24:06Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Latent Diffusion Counterfactual Explanations [28.574246724214962]
  潜在拡散対実説明(LDCE)について紹介する。 LDCEは、最近のクラスまたはテキスト条件の潜在拡散モデルの能力を利用して、対実生成を高速化する。 LDCEがモデルエラーに対する洞察を提供し、ブラックボックスモデル行動の理解を深める方法を示す。
  論文  参考訳（メタデータ） (2023-10-10T14:42:34Z)
• Conditional Generation from Unconditional Diffusion Models using Denoiser Representations [94.04631421741986]
  本稿では,学習したデノイザネットワークの内部表現を用いて,事前学習した非条件拡散モデルを新しい条件に適用することを提案する。 提案手法により生成した合成画像を用いたTiny ImageNetトレーニングセットの強化により,ResNetベースラインの分類精度が最大8%向上することを示す。
  論文  参考訳（メタデータ） (2023-06-02T20:09:57Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)
• A Survey on Generative Diffusion Model [75.93774014861978]
  拡散モデルは、深層生成モデルの新たなクラスである。 時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。 本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
  論文  参考訳（メタデータ） (2022-09-06T16:56:21Z)
• Symbolic Music Generation with Diffusion Models [4.817429789586127]
  本論文では,前訓練された可変オートエンコーダの連続潜空間における離散領域をパラメータ化することにより,連続データに対する拡散モデルを訓練する手法を提案する。 同じ連続埋め込み上で動作する自己回帰型言語モデルと比較して,強い無条件生成とポストホック条件付インフィル結果を示す。
  論文  参考訳（メタデータ） (2021-03-30T05:48:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。