論文の概要: Learning to Re-Draft: A Variational Stackelberg Game for Discrete Diffusion

• arxiv url: http://arxiv.org/abs/2609.35166v1
• Date: Mon, 28 Sep 2026 13:38:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 16:27:17.318215
• Title: Learning to Re-Draft: A Variational Stackelberg Game for Discrete Diffusion
• Title（参考訳）: 再描画の学習:離散拡散のための変分スタックルバーグゲーム
• Abstract要約: 仮面拡散モデル(英語版)は、仮面拡散が解かれるとトークンを固定するが、一様拡散は修正を許すが、一様ランダムなトークン置換に依存する。 本稿では,意味的に認識された汚職過程を学習するフレームワークとして,変分スタックルバーグ離散拡散(VSDD)を導入する。 分子・テキスト・プレイリスト生成におけるVSDDの評価を行った。
• 参考スコア（独自算出の注目度）: 6.386706419360187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion models offer the ability to re-draft, revisiting and correcting earlier tokens throughout generation. This capability depends on the forward corruption process that defines what the denoiser learns to correct. Masked diffusion models fix tokens once they are unmasked, while uniform diffusion permits revisions but relies on uniformly random token substitutions. We instead learn which substitutions are most useful for training the denoiser to re-draft. We introduce Variational Stackelberg Discrete Diffusion (VSDD), a framework for learning a semantically aware corruption process. VSDD formulates training as a leader-follower game: the leader defines a Markovian corruption process parameterized by the denoiser's token embeddings, while the follower optimizes a variational denoising objective with the corruption process held fixed. The leader rewards corruptions based on how much the denoiser improves after learning from them, rather than on how easily the current denoiser can reconstruct them. We measure this improvement under a fixed reference corruption process, approximate the follower's response with a one-step gradient update, and optimize the leader using a score-function estimator. We evaluate VSDD across molecular, text, and playlist generation. VSDD substantially improves molecular validity over uniform and masked diffusion, reduces text perplexity relative to uniform diffusion while remaining competitive with masked diffusion, and achieves sizable improvements in offline playlist recommendation metrics.
• Abstract（参考訳）: 離散拡散モデルは、世代を通して以前のトークンを再描画し、再検討し、修正する機能を提供する。 この能力は、デノイザが正しいことを学習することを定義する前方の汚職プロセスに依存します。 仮面拡散モデル(英語版)は、仮面拡散が解かれるとトークンを固定するが、一様拡散は修正を許すが、一様ランダムなトークン置換に依存する。 代わりに、どの代替品がデノイザーに再描画を訓練するのに最も有用かを学ぶ。 本稿では,意味的に認識された汚職過程を学習するフレームワークとして,変分スタックルバーグ離散拡散(VSDD)を導入する。 リーダーは、デノイザのトークンの埋め込みによってパラメータ化されるマルコフの汚職プロセスを定義し、追従者は、固定された汚職プロセスで、変動的なデノベーションの目的を最適化する。 リーダーは、現在のデノイザがいかに簡単に再構築できるかではなく、彼らから学んだ後、いかにデノイザが改善するかに基づいて、汚職を報いる。 我々は、この改善を、固定された基準汚職プロセス下で測定し、フォロワーの反応を1ステップの勾配更新で近似し、スコア関数推定器を用いてリーダーを最適化する。 分子・テキスト・プレイリスト生成におけるVSDDの評価を行った。 VSDDは均一拡散とマスク拡散に対する分子的妥当性を大幅に改善し、マスク拡散と競合しながら均一拡散に対するテキストの難易度を低減し、オフラインプレイリスト推薦指標の大幅な改善を実現している。

関連論文リスト

• Roll Out and Roll Back: Diffusion LLMs are Their Own Efficiency Teachers [76.15132587294862]
  Wide-In, Narrow-Out (WINO) は、リボッキング可能な並列生成を可能にするトレーニング不要の復号アルゴリズムである。 WINO+は、WINOが生成した検証された認知軌道をモデルパラメータに注入し、トレーニングを効率的な推論と整合させる。 LLaDAとMMaDAの実験では、WINOは品質と効率の両方を改善し、WINO+はこの進歩をさらに強化している。
  論文  参考訳（メタデータ） (2026-05-16T11:27:40Z)
• Training-Free Self-Correction for Multimodal Masked Diffusion Models [61.84305395626145]
  本研究では,事前学習したマスク拡散モデルの帰納バイアスを利用した学習自由自己補正フレームワークを提案する。 本手法は,サンプリングステップを短縮したテキスト・画像生成およびマルチモーダル理解タスクにおける生成品質を著しく向上させる。
  論文  参考訳（メタデータ） (2026-02-02T23:58:15Z)
• Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
  本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。 本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。 トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
  論文  参考訳（メタデータ） (2026-01-05T10:16:41Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• MDPO: Overcoming the Training-Inference Divide of Masked Diffusion Language Models [28.79185891706149]
  拡散言語モデルは、トレーニングと推論の主な相違に悩まされる。 本稿では,マルコフ特性拡散を利用するためのMasked Diffusion Policy Optimization (MDPO)を提案する。 本研究は,MDLMの事前学習と推測の相違を調査するための大きな可能性を見出した。
  論文  参考訳（メタデータ） (2025-08-18T17:58:13Z)
• DiffusionAttacker: Diffusion-Driven Prompt Manipulation for LLM Jailbreak [51.8218217407928]
  大規模言語モデル (LLM) は、慎重に入力を行うと有害なコンテンツを生成する可能性がある。 本稿では,拡散モデルにインスパイアされたジェイルブレイク書き換えのためのエンドツーエンド生成手法であるDiffusionAttackerを紹介する。
  論文  参考訳（メタデータ） (2024-12-23T12:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。