論文の概要: Optimality of FSQ Tokens for Continuous Diffusion for Categorical Data with Application to Text-to-Speech

• arxiv url: http://arxiv.org/abs/2606.09962v1
• Date: Mon, 08 Jun 2026 14:41:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.096165
• Title: Optimality of FSQ Tokens for Continuous Diffusion for Categorical Data with Application to Text-to-Speech
• Title（参考訳）: 分類データの連続拡散に対するFSQトークンの最適性とテキスト音声への応用
• Authors: Vadim Popov, Wenju Gu, Tasnima Sadekova, Georgii Aparin, Assel Yermekova,
• Abstract要約: カテゴリーデータの連続拡散は、拡散族に属するフレームワークであり、離散データを生成することを目的としている。 クルバック・リーバーの発散で表される離散トークンに対応する潜在空間の構造について検討する。 FSQトークン化スキームは、分類データの連続拡散に最適な性質を持つ潜在空間構造を持つ。
• 参考スコア（独自算出の注目度）: 6.877868518355945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous diffusion for categorical data is a framework belonging to the diffusion family and aiming at generating discrete data. The scientific interest to such models has been constantly increasing these days because researchers try to achieve a challenging goal of finding reasonable alternatives to autoregressive large language models. In this paper, we study the properties of the structure of the latent space corresponding to discrete tokens expressed in terms of Kullback-Leibler divergence on diffusion path measures and accuracy of the correct token prediction by the optimally trained diffusion model. We find that FSQ tokenization scheme has the latent space structure with the properties that make it best suited for continuous diffusion for categorical data as verified through rigorous theoretical analysis and numerical experiments. To validate our findings in real-life scenario, we train several text-to-speech diffusion models having speech tokens as intermediate acoustic features, and show that the one based on FSQ tokens indeed performs the best, and, moreover, it outperforms its strong LLM-based counterpart, at the same time being significantly smaller and faster.
• Abstract（参考訳）: カテゴリーデータの連続拡散は、拡散族に属するフレームワークであり、離散データを生成することを目的としている。 このようなモデルに対する科学的な関心は、研究者が自己回帰的な大規模言語モデルに対する合理的な代替手段を見つけるという挑戦的な目標を達成するために、最近常に増大している。 本稿では,拡散経路測定におけるKulback-Leibler分散の項で表される離散トークンに対応する潜在空間の構造と,最適に訓練された拡散モデルによる正しいトークン予測の精度について検討する。 FSQトークン化スキームは、厳密な理論的解析と数値実験によって検証された分類データの連続拡散に最も適した特性を持つ潜在空間構造を持つ。 実生活シナリオにおいて,音声トークンを中間音響特徴として用いたテキスト音声拡散モデルを訓練し,FSQトークンをベースとしたものが最も優れており,同時にLLMベースの強力なモデルよりも優れており,より高速であることを示す。

関連論文リスト

• Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects [17.220195638215507]
  拡散言語モデル (DLMs) は自己回帰言語モデル (ARMs) の代替として登場した。 DLMは、ARMと比較して、個人識別情報(PII)の記憶に基づくリークが著しく低い。
  論文  参考訳（メタデータ） (2026-03-02T19:03:32Z)
• Guided Transfer Learning for Discrete Diffusion Models [21.909689920217982]
  離散拡散モデル(GTL)のためのガイド伝達学習を提案する。 GTLは、事前訓練されたデノイザを変更することなく、ターゲット分布からのサンプリングを可能にする。 また、プランナー選択された位置と上位候補トークンの評価に集中する効率的なガイド付きサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2025-12-11T18:05:55Z)
• Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner [66.86440230599656]
  拡散言語モデルは必ずしも離散空間にある必要はないと主張する。 特に、連続拡散モデルが離散拡散やループ変換器よりも強い表現性を持つことを示す。 本稿では,連続表現空間と離散トークン空間の結合に関する共同多モード拡散過程を定義する共進化連続拡散法(CCDD)を提案する。
  論文  参考訳（メタデータ） (2025-10-03T17:44:41Z)
• FedDifRC: Unlocking the Potential of Text-to-Image Diffusion Models in Heterogeneous Federated Learning [12.366529890744822]
  フェデレーション学習は、プライバシを保護しながら、参加者間で協調的にモデルをトレーニングすることを目的としている。 このパラダイムの大きな課題のひとつは、複数のクライアント間で偏ったデータ優先がモデルの一貫性とパフォーマンスを損なう、データ不均一性の問題である。 本稿では,拡散表現協調(FedDifRC)を用いた新しいフェデレーションパラダイムに強力な拡散モデルを導入する。 FedDifRCは、テキスト駆動拡散コントラストとノイズ駆動拡散正規化であり、豊富なクラス関連セマンティック情報と一貫した収束信号を提供することを目的としている。
  論文  参考訳（メタデータ） (2025-07-09T01:57:57Z)
• A Convergence Theory for Diffusion Language Models: An Information-Theoretic Perspective [8.15094483029656]
  拡散モデルは並列トークンサンプリングを可能にし、より高速な生成と左から右への生成制約を排除する。 我々は情報理論の観点から拡散言語モデルの収束保証を開発する。 これらの結果は拡散言語モデルの実用性に関する新たな理論的洞察を与える。
  論文  参考訳（メタデータ） (2025-05-27T16:24:20Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。