論文の概要: Efficient Perplexity Bound and Ratio Matching in Discrete Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2507.04341v1
• Date: Sun, 06 Jul 2025 10:54:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.12994
• Title: Efficient Perplexity Bound and Ratio Matching in Discrete Diffusion Language Models
• Title（参考訳）: 離散拡散言語モデルにおける効率的なパープレキシティ境界と比例マッチング
• Authors: Etrit Haxholli, Yeti Z. Gürbüz, Oğul Can, Eli Waxman,
• Abstract要約: データと学習分布のKL分散に関する3つの新しい定理を導入する。 クリーンなデータと破損したデータの相互エントロピーを最小化することにより、スコアエントロピーを利用したモデルよりも優れた性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While continuous diffusion models excel in modeling continuous distributions, their application to categorical data has been less effective. Recent work has shown that ratio-matching through score-entropy within a continuous-time discrete Markov chain (CTMC) framework serves as a competitive alternative to autoregressive models in language modeling. To enhance this framework, we first introduce three new theorems concerning the KL divergence between the data and learned distribution. Our results serve as the discrete counterpart to those established for continuous diffusion models and allow us to derive an improved upper bound of the perplexity. Second, we empirically show that ratio-matching performed by minimizing the denoising cross-entropy between the clean and corrupted data enables models to outperform those utilizing score-entropy with up to 10% lower perplexity/generative-perplexity, and 15% faster training steps. To further support our findings, we introduce and evaluate a novel CTMC transition-rate matrix that allows prediction refinement, and derive the analytic expression for its matrix exponential which facilitates the computation of conditional ratios thus enabling efficient training and generation.
• Abstract（参考訳）: 連続拡散モデルは連続分布のモデリングにおいて優れているが、分類データへの応用はより効果的ではない。 最近の研究は、連続時間離散マルコフ連鎖(CTMC)フレームワークにおけるスコアエントロピーによる比率マッチングが、言語モデリングにおける自己回帰モデルの競合的な代替となることを示した。 この枠組みを強化するために、まずデータと学習分布のKL分散に関する3つの新しい定理を導入する。 この結果は, 連続拡散モデルで確立されたモデルと独立に対応し, パープレキシティのアップバウンドの改善を導出することができる。 第2に、クリーンなデータと破損したデータ間のクロスエントロピーの最小化による比率マッチングにより、スコアエントロピーを利用したモデルにおいて、最大10%低いパープレキシティ/生成パープレキシティ、15%高速なトレーニングステップで性能を向上できることを実証的に示す。 本研究は, 予測精度の向上を実現する新しいCTMC遷移速度行列を導入, 評価し, 条件比の計算を容易にする行列指数の解析式を導出することにより, 効率的なトレーニングと生成を可能にした。

関連論文リスト

• Operator-Informed Score Matching for Markov Diffusion Models [9.680266522150495]
  拡散モデルは一般にスコアマッチングを用いて訓練される。 この論文は、マルコフノゲティング過程は、ノゲティング過程を支配するマルコフ作用素がよく理解されているため、代替よりも有利であると主張している。
  論文  参考訳（メタデータ） (2024-06-13T13:07:52Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Information-Theoretic Diffusion [18.356162596599436]
  拡散モデルのデノイングは密度モデリングや画像生成において大きな進歩をもたらした。 情報理論における古典的な結果にインスパイアされた拡散モデルのための新しい数学的基礎を導入する。
  論文  参考訳（メタデータ） (2023-02-07T23:03:07Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Modeling Score Distributions and Continuous Covariates: A Bayesian Approach [8.772459063453285]
  連続共変量に対するマッチングと非マッチスコア分布の生成モデルを構築した。 混合モデルを用いて任意の分布と局所基底関数をキャプチャする。 提案手法の精度と有効性を示す3つの実験を行った。
  論文  参考訳（メタデータ） (2020-09-21T02:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。