論文の概要: Improved Paraphrase Generation via Controllable Latent Diffusion
- arxiv url: http://arxiv.org/abs/2404.08938v2
- Date: Fri, 17 Jan 2025 17:05:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-20 13:57:56.753716
- Title: Improved Paraphrase Generation via Controllable Latent Diffusion
- Title（参考訳）: 制御可能な潜伏拡散によるパラフレーズ生成の改善
- Authors: Wei Zou, Ziyuan Zhuang, Xiang Geng, Shujian Huang, Jia Liu, Jiajun Chen,
- Abstract要約: textitLatent textitDiffusion textitParaphraser(LDP)を提案する。
実験の結果,LDPはベースラインよりもパラフレーズ生成の質や多様性をよく再現できることがわかった。
- 参考スコア（独自算出の注目度）: 60.479643304122504
- License:
- Abstract: Paraphrase generation strives to generate high-quality and diverse expressions of a given text, a domain where diffusion models excel. Though SOTA diffusion generation reconciles generation quality and diversity, textual diffusion suffers from a truncation issue that hinders efficiency and quality control. In this work, we propose \textit{L}atent \textit{D}iffusion \textit{P}araphraser~(LDP), a novel paraphrase generation by modeling a controllable diffusion process given a learned latent space. LDP achieves superior generation efficiency compared to its diffusion counterparts. It can facilitate only input segments to ensure paraphrase semantics, improving the results without external features. Experiments show that LDP better reconciles paraphrase generation quality and diversity than baselines. Further analysis shows that our method is also helpful to other similar text generations and domain adaptations
- Abstract（参考訳）: パラフレーズ生成は、拡散モデルが励起する領域である与えられたテキストの高品質で多様な表現を生成する。
SOTA拡散生成は、生成品質と多様性を再現するが、テキスト拡散は、効率と品質の制御を妨げるトランケーションの問題に悩まされる。
本研究では,学習された潜伏空間が与えられた可制御拡散過程をモデル化し,新しいパラフレーズ生成法であるtextit{L}atent \textit{D}iffusion \textit{P}araphraser~(LDP)を提案する。
LDPは拡散係数よりも優れた生成効率を達成する。
入力セグメントのみを容易にすることで、パラフレーズのセマンティクスを確保し、外部の機能を使わずに結果を改善することができる。
実験の結果,LDPはベースラインよりもパラフレーズ生成の質や多様性をよく再現できることがわかった。
さらに分析した結果,本手法は他の類似テキスト生成やドメイン適応にも有用であることがわかった。
関連論文リスト
- Precise Parameter Localization for Textual Generation in Diffusion Models [7.057901456502796]
新たな拡散モデルでは、高画質のテキストを統合してフォトリアリスティックな画像を合成することができる。
注意アクティベーションパッチでは、拡散モデルのパラメータの1%未満が注意層に含まれており、画像内のテキストコンテンツの生成に影響を与えることが示されている。
テキストコンテンツ生成に責任のあるレイヤをローカライズすることの恩恵を受けるアプリケーションをいくつか紹介する。
論文 参考訳（メタデータ） (2025-02-14T06:11:23Z) - Segment-Level Diffusion: A Framework for Controllable Long-Form Generation with Diffusion Language Models [12.446047799880587]
トークンレベルの拡散は語順依存性を見落とし、短い出力ウィンドウを強制する一方、パスレベルの拡散は長文の堅牢な表現を学習するのに苦労する。
テキストセグメンテーションによる拡散に基づくテキスト生成を促進するフレームワークであるSegment-Level Diffusion (SLD)を提案する。
論文 参考訳（メタデータ） (2024-12-15T22:47:44Z) - Text Diffusion with Reinforced Conditioning [92.17397504834825]
本稿では,テキスト拡散モデルを完全に解析し,トレーニング中の自己条件の劣化と,トレーニングとサンプリングのミスアライメントの2つの重要な限界を明らかにする。
そこで本研究では, TRECと呼ばれる新しいテキスト拡散モデルを提案する。
論文 参考訳（メタデータ） (2024-02-19T09:24:02Z) - InfoDiffusion: Information Entropy Aware Diffusion Process for
Non-Autoregressive Text Generation [33.52794666968048]
本稿では,非自己回帰的テキスト拡散モデルであるInfoDiffusionを提案する。
提案手法は「キーフォファースト」生成戦略を導入し,テキスト情報量に基づいてノイズスケジュールを組み込む。
実験結果から,InfoDiffusionは生成品質と多様性の点でベースラインモデルより優れていることがわかった。
論文 参考訳（メタデータ） (2023-10-18T14:01:39Z) - DiffDis: Empowering Generative Diffusion Model with Cross-Modal
Discrimination Capability [75.9781362556431]
本稿では,拡散過程下での1つのフレームワークに,モダクティブと差別的事前学習を統一するDiffDisを提案する。
DiffDisは画像生成タスクと画像テキスト識別タスクの両方において単一タスクモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-18T05:03:48Z) - TESS: Text-to-Text Self-Conditioned Simplex Diffusion [56.881170312435444]
テキストからテキストへの自己条件付きSimplex Diffusionは、新しい形式のセルフコンディショニングを採用し、学習された埋め込み空間ではなく、ロジット単純空間に拡散プロセスを適用する。
我々は、TESSが最先端の非自己回帰モデルより優れており、性能の低下を最小限に抑えた拡散ステップを少なくし、事前訓練された自己回帰列列列列モデルと競合することを示した。
論文 参考訳（メタデータ） (2023-05-15T06:33:45Z) - A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。
具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。
我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
論文 参考訳（メタデータ） (2023-04-10T17:58:42Z) - Diffusion Models for Non-autoregressive Text Generation: A Survey [94.4634088113513]
非自己回帰(NAR)テキスト生成は自然言語処理の分野で大きな注目を集めている。
近年、拡散モデルがNARテキスト生成に導入され、テキスト生成品質が向上した。
論文 参考訳（メタデータ） (2023-03-12T05:11:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。