論文の概要: Representation-Space MMD for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.06648v1
• Date: Mon, 05 Oct 2026 16:28:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 00:00:06.2986
• Title: Representation-Space MMD for Diffusion Language Models
• Title（参考訳）: 拡散言語モデルのための表現空間MD
• Abstract要約: 平均最大離散性(MMD)を最小化する拡散言語モデル(DLM)のポストトレーニング手法を提案する。 我々は、離散モデルに対するポリシー勾配と、連続モデルに対する生成されたラテントによる直接微分を用いて、この目的を最適化する。 実験では、OpenWebText上での同等エントロピーにおける生成パープレキシティの低下と、GSM8K上での精度計算のトレードオフの改善が示されている。
• 参考スコア（独自算出の注目度）: 15.375628891899437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a post-training method for diffusion language models (DLMs) that minimizes Maximum Mean Discrepancy (MMD) between generated and reference distributions in the feature space of a frozen pretrained DLM. To estimate MMD, we retain contextual features at individual token positions, obtaining multiple observations per sequence from a single extractor pass. We optimize this objective using policy gradients for discrete models and direct differentiation through generated latents for continuous models. In both cases, computing the loss directly from these features enables efficient post-training without full sampling trajectories or jointly trained auxiliary models. Experiments show lower generative perplexity at comparable entropy on OpenWebText and better accuracy-computation trade-offs on GSM8K. On 16B DMax-LLaDA2.0 models with hybrid masked-uniform diffusion, we increase decoding parallelism with similar or higher accuracy on math and code benchmarks.
• Abstract（参考訳）: 本稿では,拡散言語モデル(DLM)の学習後,凍結事前学習DLMの特徴空間における生成および参照分布間の最大平均離散性(MMD)を最小化する手法を提案する。 MMDを推定するために、個々のトークン位置における文脈的特徴を保持し、単一の抽出器パスからシーケンス毎に複数の観測値を取得する。 離散モデルに対するポリシー勾配と、連続モデルに対する生成されたラテントによる直接微分を用いて、この目的を最適化する。 どちらの場合も、これらの特徴から直接損失を計算することで、完全なサンプリング軌跡や共同訓練された補助モデルなしで効率的な後トレーニングが可能になる。 実験では、OpenWebText上での同等エントロピーにおける生成パープレキシティの低下と、GSM8K上での精度計算のトレードオフの改善が示されている。 16B DMax-LLaDA2.0モデルとハイブリッドマスク・ユニフォーム拡散モデルを用いて,類似あるいは高い精度でデコード並列性を向上する。

関連論文リスト

• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Scaling Behavior of Discrete Diffusion Language Models [74.72926629897636]
  離散拡散言語モデル(DLM)の様々なノイズタイプに対するスケーリング挙動について検討する。 実験の結果,DLMのスケーリング挙動はノイズの種類によって大きく異なり,ALMとはかなり異なることがわかった。 均一拡散モデルを1022ドルのFLOPでトレーニングした10Bパラメータまで拡張し、予測されたスケーリング挙動を確認し、現在までに最も広く知られている均一拡散モデルとした。
  論文  参考訳（メタデータ） (2025-12-11T17:54:10Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Diffusion Bridge Implicit Models [25.213664260896103]
  分散ブリッジモデル(DDBM)は、2つの任意の対の分布を補間するための拡散モデルの強力な変種である。 我々は,拡散モデルで確立されたレシピに動機づけられた,余分な訓練を伴わないDDBMの高速サンプリングの第一歩を踏み出す。 我々は、高次数値解法を誘導する、新しい、単純で洞察に富んだ常微分方程式(ODE)を誘導する。
  論文  参考訳（メタデータ） (2024-05-24T19:08:30Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion Models [72.93652777646233]
  カモフラーゲ型物体検出(COD)は、カモフラーゲ型物体とその周囲の類似性が高いため、コンピュータビジョンにおいて難しい課題である。 本研究では,CODを拡散モデルを利用した条件付きマスク生成タスクとして扱う新しいパラダイムを提案する。 カモ拡散(CamoDiffusion)と呼ばれる本手法では,拡散モデルのデノナイズプロセスを用いてマスクの雑音を反復的に低減する。
  論文  参考訳（メタデータ） (2023-05-29T07:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。