論文の概要: Online Class Posteriors for Interpretable and Controllable Discrete Diffusion
- arxiv url: http://arxiv.org/abs/2611.03454v1
- Date: Mon, 02 Nov 2026 16:59:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 04:28:18.694412
- Title: Online Class Posteriors for Interpretable and Controllable Discrete Diffusion
- Title(参考訳): 解釈・制御可能な離散拡散のためのオンライン授業後処理
- Abstract要約: クラス条件の後部をオンラインで追跡するための理論的枠組みを定式化する。
マスク付き言語モデリングでは、この後部は高度に解釈可能なダイナミクスを提供する。
後肢は離散拡散における論理的誘導操作(AND,OR,NOT)に使用できることを示す。
- 参考スコア(独自算出の注目度): 7.841728067391725
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Discrete diffusion models remain far less understood than their continuous counterparts, despite recent breakthroughs across modalities, most notably in text. Leveraging tools from continuous diffusion, we formulate a theoretical framework to track the class-conditional posterior in an online manner by combining conditional and unconditional model predictions. In masked language modeling, this posterior offers highly interpretable dynamics: tokens aligned with a class boost the posterior, while contradictory ones suppress it. We also show that the posterior can be used for logical guidance operations (AND, OR, NOT) in discrete diffusion. These operations enable precise control over generation, such as avoiding specific classes. In addition, we discuss a mismatch in the formulation of classifier-free guidance between discrete and continuous settings: discrete models mix the data distributions, while continuous models mix the marginals. We validate our methods and discuss their potential applications on synthetic data, with all quantities analytically tractable, as well as on MNIST, text, and antibody sequences.
- Abstract(参考訳): 離散拡散モデルは、最近のモダリティにまたがるブレークスルーにもかかわらず、連続的な拡散モデルよりもはるかに理解されていない。
連続拡散からツールを活用することで、条件付きモデルと非条件付きモデル予測を組み合わせることで、クラス条件後部をオンラインで追跡する理論的枠組みを定式化する。
マスク付き言語モデリングでは、この後続言語は高度に解釈可能なダイナミクスを提供する。
また,後肢は離散拡散における論理的誘導操作(AND,OR,NOT)に利用できることを示す。
これらの操作は、特定のクラスを避けるなど、生成の正確な制御を可能にする。
さらに、離散的モデルと連続的設定の間に分類器フリーガイダンスの定式化のミスマッチについて論じる:離散的モデルがデータ分布を混合し、連続的モデルが境界を混合する。
本手法の有効性を検証し,MNIST,テキストおよび抗体配列だけでなく,分析的に抽出可能な全量の合成データに適用する可能性について検討する。
関連論文リスト
- Tensor-Train Joint Modeling for Few-Step Discrete Diffusion [25.442970567297326]
本稿では、テンソル分解による離散拡散における明示的な関節分布モデリングの枠組みを提案する。
我々のフレームワークは、軽量な微調整により事前訓練されたMDMに統合され、スクラッチからトレーニングコストのごく一部で、数ステップ生成を大幅に改善する。
論文 参考訳(メタデータ) (2026-07-04T09:32:12Z) - Foundations of Diffusion Models in General State Spaces: A Self-Contained Introduction [54.95522167029998]
この記事は、一般状態空間上の拡散に関する自己完結プライマーである。
我々は、その連続時間限界とともに離散時間ビュー(マルコフカーネルを経由し、逆ダイナミクスを学習する)を開発する。
一般的な変量処理は、標準の訓練損失を支えるELBOをもたらす。
論文 参考訳(メタデータ) (2025-12-04T18:55:36Z) - Diffusion Models: A Mathematical Introduction [3.8673630752805437]
本稿では拡散に基づく生成モデルの自己完結型導出について述べる。
第一原理から拡散確率モデルを構築する。
読者はこの理論に従い、実際に対応するアルゴリズムを実装することができる。
論文 参考訳(メタデータ) (2025-11-13T16:20:52Z) - Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner [66.86440230599656]
拡散言語モデルは必ずしも離散空間にある必要はないと主張する。
特に、連続拡散モデルが離散拡散やループ変換器よりも強い表現性を持つことを示す。
本稿では,連続表現空間と離散トークン空間の結合に関する共同多モード拡散過程を定義する共進化連続拡散法(CCDD)を提案する。
論文 参考訳(メタデータ) (2025-10-03T17:44:41Z) - Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。
これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。
連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
論文 参考訳(メタデータ) (2025-10-01T18:00:56Z) - Unifying Continuous and Discrete Text Diffusion with Non-simultaneous Diffusion Processes [9.29387855908007]
NeoDiffは、離散的アプローチと連続的アプローチの両方の長所を統合する、新しい拡散モデルである。
我々のアプローチは、テキスト生成のためのより原理的で効果的なフレームワークを提供する、離散的かつ連続的な拡散モデルの理論を統一する。
論文 参考訳(メタデータ) (2025-05-28T09:28:52Z) - Continuous Diffusion Model for Language Modeling [64.7425225935854]
離散的データに対する既存の連続拡散モデルは離散的手法と比較して性能が劣る。
本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
本手法は,既存の離散拡散モデルより優れ,自己回帰モデルの性能にアプローチする。
論文 参考訳(メタデータ) (2025-02-17T08:54:29Z) - Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。
我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
論文 参考訳(メタデータ) (2024-05-31T16:18:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。