論文の概要: Generative Frontiers: Why Evaluation Matters for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2604.02718v1
• Date: Fri, 03 Apr 2026 04:21:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.320814
• Title: Generative Frontiers: Why Evaluation Matters for Diffusion Language Models
• Title（参考訳）: 生成フロンティア:なぜ拡散言語モデルで評価が重要か
• Authors: Patrick Pynadath, Jiaxin Shi, Ruqi Zhang,
• Abstract要約: 本稿では,現在の方法論の限界について論じ,信頼性の高い比較を行うための原則的拡張を提案する。 生成的パープレキシティとエントロピーは、基準分布へのKL分散の2つの成分であることを示す。 このスケールでのモデル品質に関する実証的な観察で締めくくります。
• 参考スコア（独自算出の注目度）: 36.61898210733147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion language models have seen exciting recent progress, offering far more flexibility in generative trajectories than autoregressive models. This flexibility has motivated a growing body of research into new approaches to diffusion language modeling, which typically begins at the scale of GPT-2 small (150 million parameters). However, these advances introduce new issues with evaluation methodology. In this technical note, we discuss the limitations of current methodology and propose principled augmentations to ensure reliable comparisons. We first discuss why OpenWebText has become the standard benchmark, and why alternatives such as LM1B are inherently less meaningful. We then discuss the limitations of likelihood evaluations for diffusion models, and explain why relying on generative perplexity alone as a metric can lead to uninformative results. To address this, we show that generative perplexity and entropy are two components of the KL divergence to a reference distribution. This decomposition explains generative perplexity's sensitivity to entropy, and naturally suggests generative frontiers as a principled method for evaluating model generative quality. We conclude with empirical observations on model quality at this scale. We include a blog post with interactive content to illustrate the argument at https://patrickpynadath1.github.io/blog/eval_methodology/.
• Abstract（参考訳）: 拡散言語モデルは近年エキサイティングな進歩を遂げており、自己回帰モデルよりも生成的軌道の柔軟性がはるかに高い。 この柔軟性は、拡散言語モデリングの新しいアプローチの研究の原動力となっている。 しかし、これらの進歩は評価手法に新たな問題をもたらす。 本稿では,現在の方法論の限界について論じ,信頼性の高い比較を行うための原則的拡張を提案する。 最初に、OpenWebTextが標準ベンチマークになった理由と、LM1Bのような代替手段が本質的に意味をなさない理由について議論する。 次に拡散モデルに対する可能性評価の限界について論じ、なぜ生成的パープレキシティのみを計量として依存するかが非形式的な結果をもたらすのかを説明する。 これを解決するために、生成的パープレキシティとエントロピーは、基準分布へのKL分散の2つの成分であることを示す。 この分解は、生成的パープレクティリティのエントロピーに対する感受性を説明し、生成的フロンティアをモデル生成品質を評価するための原則的な方法として提案する。 このスケールでのモデル品質に関する実証的な観察で締めくくります。 インタラクティブなコンテンツを載せたブログ記事がhttps://patrickpynadath1.github.io/blog/eval_methodology/で公開されている。

関連論文リスト

• A Convergence Theory for Diffusion Language Models: An Information-Theoretic Perspective [8.15094483029656]
  拡散モデルは並列トークンサンプリングを可能にし、より高速な生成と左から右への生成制約を排除する。 我々は情報理論の観点から拡散言語モデルの収束保証を開発する。 これらの結果は拡散言語モデルの実用性に関する新たな理論的洞察を与える。
  論文  参考訳（メタデータ） (2025-05-27T16:24:20Z)
• Generalized Interpolating Discrete Diffusion [65.74168524007484]
  仮面拡散はその単純さと有効性のために一般的な選択である。 ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。 GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
  論文  参考訳（メタデータ） (2025-03-06T14:30:55Z)
• Evaluation of Large Language Models via Coupled Token Generation [19.187846871216568]
  最先端の大規模言語モデルは、プロンプトに対応するためにランダム化に依存している。 大規模言語モデルの評価とランク付けは,それらの機能を支えるランダム化を制御すべきである,と我々は主張する。
  論文  参考訳（メタデータ） (2025-02-03T19:01:17Z)
• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• When factorization meets argumentation: towards argumentative explanations [0.0]
  因数分解に基づく手法と議論フレームワーク(AF)を組み合わせた新しいモデルを提案する。 我々のフレームワークは、ユーザコンテキストなどのサイド情報をシームレスに組み込んで、より正確な予測を可能にします。
  論文  参考訳（メタデータ） (2024-05-13T19:16:28Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language? [86.60613602337246]
  我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。 LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。 マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
  論文  参考訳（メタデータ） (2020-10-08T16:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。