論文の概要: Alpha Diffusion Language Models: Factorization Alone Is Not the Problem

• arxiv url: http://arxiv.org/abs/2609.38066v1
• Date: Tue, 29 Sep 2026 17:31:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.786397
• Title: Alpha Diffusion Language Models: Factorization Alone Is Not the Problem
• Title（参考訳）: Alpha拡散言語モデル:因子化は問題ではない
• Abstract要約: 離散拡散言語モデルは複数のトークンを並列に生成できるが、デノナイジングステップの数を減らすことは矛盾した予測につながる。 アルファ拡散言語モデル(AlphaDLM)を紹介する。 シーケンスレベルのアルファロスで訓練され、アルファの消滅の限界でクロスエントロピーを回復し、アルファ1で共同モードの最適値を持つ。
• 参考スコア（独自算出の注目度）: 62.502296537560824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete diffusion language models can generate multiple tokens in parallel, but reducing the number of denoising steps can lead to inconsistent predictions. Standard cross-entropy training fits conditional token marginals, whereas parallel generation requires consistent joint predictions. We introduce Alpha Diffusion Language Models (AlphaDLM), trained with a sequence-level alpha loss that recovers cross-entropy in the limit of vanishing alpha and has a joint-mode optimum at alpha one. Our analysis characterizes how the objective and factorization jointly determine the fitted distribution. We identify conditions under which intermediate alpha preserves multiple valid completions while excluding invalid token combinations. Trained on TinyGSM, our method achieves 34.6% accuracy on GSM8K with only four model evaluations. We further scale the method to SDAR-1.7B and evaluate it on code and mathematics benchmarks. These results show that changing the training objective can improve the accuracy-computation trade-off of factorized diffusion language models.
• Abstract（参考訳）: 離散拡散言語モデルは複数のトークンを並列に生成できるが、デノナイジングステップの数を減らすことは矛盾した予測につながる。 標準的なクロスエントロピートレーニングは条件付きトークン境界に適合するが、並列生成には一貫した共同予測が必要である。 そこで,Alpha Diffusion Language Models (AlphaDLM) を導入し,Alphaの消滅限界におけるクロスエントロピーを回復し,α1で共同モード最適化を行う。 本分析は, 対象分布と因子分解が協調して適合分布を決定する方法の特徴である。 無効なトークンの組み合わせを除外しながら、中間アルファが複数の有効な完了を保存する条件を同定する。 TinyGSMでトレーニングした結果,GSM8Kでは4つのモデル評価のみで34.6%の精度が得られた。 さらにSDAR-1.7Bに拡張し、コードと数学のベンチマークで評価する。 これらの結果から, 学習目標の変更により, 因子化拡散言語モデルの精度・計算トレードオフが向上することが示唆された。

関連論文リスト

• Decoding in Order-Agnostic Language Models: Chain-Rule Deviation and Uniform Spreading [0.6916773850242582]
  順序に依存しない言語モデル(OALM)は任意の条件セットの下でマスク付きトークンを予測するために訓練される。 学習条件はコヒーレントな関節分布の正確な分解ではないことを示す。 信頼性トレースの形状に基づく相補的診断を提案する。
  論文  参考訳（メタデータ） (2026-05-31T04:25:36Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Just on Time: Token-Level Early Stopping for Diffusion Language Models [0.0]
  拡散言語モデルは、しばしば計算的に非効率な反復的洗練を通じてテキストを生成する。 トレーニング不要でトークンレベルの早期停止アプローチを導入し,各位置における収束を独立に識別する。 これにより、タスク固有の微調整をせずに、適応的な各トーケン凍結が得られ、必要な拡散ステップの総数を大幅に削減する。
  論文  参考訳（メタデータ） (2026-02-11T18:44:04Z)
• Zonkey: A Hierarchical Diffusion Language Model with Differentiable Tokenization and Probabilistic Attention [0.0]
  Zonkeyは階層的な拡散モデルであり、生文字から文書レベルの表現まで、完全にトレーニング可能なパイプラインを通じて制限に対処する。 コアとなるのは、確率的開始順序(BOS)決定を学習する、差別化可能なトークンである。 Zonkeyは、ノイズからコヒーレントで可変長のテキストを生成し、創発的な階層を示す。
  論文  参考訳（メタデータ） (2026-01-29T14:17:37Z)
• Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
  任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。 我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。 我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2025-04-29T06:33:13Z)
• Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
  拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。 因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
  論文  参考訳（メタデータ） (2024-07-01T15:43:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。