論文の概要: Smoothie: Smoothing Diffusion on Token Embeddings for Text Generation

• arxiv url: http://arxiv.org/abs/2505.18853v1
• Date: Sat, 24 May 2025 20:02:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.696257
• Title: Smoothie: Smoothing Diffusion on Token Embeddings for Text Generation
• Title（参考訳）: Smoothie: テキスト生成のためのToken Embeddingsのスムーズな拡散
• Authors: Alexander Shabalin, Viacheslav Meshchaninov, Dmitry Vetrov,
• Abstract要約: Smoothing Diffusion on Token Embeddings (Smoothie) は、意味的類似性に基づいてトークンの埋め込みを徐々に滑らかにすることで、両方のアプローチの強みを組み合わせる新しい拡散法である。 いくつかのシーケンス・ツー・シーケンス生成タスクの実験結果は、Smoothieが既存の拡散モデルよりも優れた生成品質を示すことを示した。 提案した拡散空間は、標準埋め込み空間とカテゴリー的単純空間の両方よりも優れた性能が得られる。
• 参考スコア（独自算出の注目度）: 45.560812800359685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have achieved state-of-the-art performance in generating images, audio, and video, but their adaptation to text remains challenging due to its discrete nature. Prior approaches either apply Gaussian diffusion in continuous latent spaces, which inherits semantic structure but struggles with token decoding, or operate in categorical simplex space, which respect discreteness but disregard semantic relation between tokens. In this paper, we propose Smoothing Diffusion on Token Embeddings (Smoothie), a novel diffusion method that combines the strengths of both approaches by progressively smoothing token embeddings based on semantic similarity. This technique enables gradual information removal while maintaining a natural decoding process. Experimental results on several sequence-to-sequence generation tasks demonstrate that Smoothie outperforms existing diffusion-based models in generation quality. Furthermore, ablation studies show that our proposed diffusion space yields better performance than both the standard embedding space and the categorical simplex. Our code is available at https://github.com/ashaba1in/smoothie.
• Abstract（参考訳）: 拡散モデルは、画像、オーディオ、ビデオの生成において最先端のパフォーマンスを達成したが、その離散的な性質のため、テキストへの適応は難しいままである。 先行のアプローチでは、意味的構造を継承するがトークンの復号化に苦労する連続潜在空間においてガウス拡散を適用するか、トークン間の意味的関係を無視する離散性を尊重する分類的単純空間で操作する。 本稿では,意味的類似性に基づくトークン埋め込みの段階的スムーズ化により,両アプローチの強みを組み合わせた新しい拡散法である,Token Embeddings (Smoothie) のSmoothing Diffusionを提案する。 この技術は、自然な復号処理を維持しながら段階的な情報除去を可能にする。 いくつかのシーケンス・ツー・シーケンス生成タスクの実験結果は、Smoothieが既存の拡散モデルよりも優れた生成品質を示すことを示した。 さらに、アブレーション研究により、提案した拡散空間は標準埋め込み空間とカテゴリー的単純空間の両方よりも優れた性能が得られることが示された。 私たちのコードはhttps://github.com/ashaba1in/smoothie.comから入手可能です。

関連論文リスト

• Generalized Interpolating Discrete Diffusion [65.74168524007484]
  仮面拡散はその単純さと有効性のために一般的な選択である。 離散拡散過程を補間する一般族の理論的バックボーンを導出する。 GIDDのフレキシビリティをエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索する。
  論文  参考訳（メタデータ） (2025-03-06T14:30:55Z)
• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• Smooth Diffusion: Crafting Smooth Latent Spaces in Diffusion Models [82.8261101680427]
  滑らかな潜伏空間は、入力潜伏空間上の摂動が出力画像の定常的な変化に対応することを保証している。 この特性は、画像の反転、反転、編集を含む下流タスクにおいて有益である。 スムース拡散(Smooth Diffusion, Smooth Diffusion)は, 高速かつスムーズな拡散モデルである。
  論文  参考訳（メタデータ） (2023-12-07T16:26:23Z)
• TESS: Text-to-Text Self-Conditioned Simplex Diffusion [56.881170312435444]
  テキストからテキストへの自己条件付きSimplex Diffusionは、新しい形式のセルフコンディショニングを採用し、学習された埋め込み空間ではなく、ロジット単純空間に拡散プロセスを適用する。 我々は、TESSが最先端の非自己回帰モデルより優れており、性能の低下を最小限に抑えた拡散ステップを少なくし、事前訓練された自己回帰列列列列モデルと競合することを示した。
  論文  参考訳（メタデータ） (2023-05-15T06:33:45Z)
• Empowering Diffusion Models on the Embedding Space for Text Generation [38.664533078347304]
  埋め込み空間とデノナイジングモデルの両方で直面する最適化課題について検討する。 データ分散は埋め込みにおいて学習可能であり、埋め込み空間の崩壊と不安定なトレーニングにつながる可能性がある。 以上の解析に基づいて,Transformerに基づく埋め込み拡散モデルであるDifformerを提案する。
  論文  参考訳（メタデータ） (2022-12-19T12:44:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。