論文の概要: Simplex Relaxation for Discrete Diffusion
- arxiv url: http://arxiv.org/abs/2608.10615v1
- Date: Tue, 11 Aug 2026 07:58:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.954046
- Title: Simplex Relaxation for Discrete Diffusion
- Title(参考訳): 離散拡散のための単純緩和法
- Abstract要約: Simplax(Simplax)はディリクレ(Dirichlet)のカテゴリー拡張で、それぞれが崩壊したカテゴリ状態と補助的単純度値変数を結合する。
Simplaxは生成パープレキシティーを改善する。-無条件のOpenWebText生成におけるエントロピートレードオフ。
- 参考スコア(独自算出の注目度): 58.33696160279345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Discrete diffusion models for categorical generation are defined by a corruption kernel, which determines the intermediate state space and the associated reverse prediction problem. We study uniform discrete diffusion and ask whether its training objective and reverse transitions can be enriched without changing the underlying categorical corruption process. We introduce Simplax, an exact Dirichlet--categorical augmentation that couples each corrupted categorical state with an auxiliary simplex-valued variable while preserving the original uniform diffusion process as its categorical marginal. This augmentation yields a tractable Rao--Blackwellized reverse-bridge objective and a corresponding stochastic reverse sampler, while retaining the corrupted categorical state as the denoiser input. Empirically, Simplax improves the generative perplexity--entropy tradeoff on unconditional OpenWebText generation. On Sudoku, a model trained exclusively on $30$-clue puzzles achieves the highest accuracy among the compared methods across all evaluated clue densities, including the minimum uniquely solvable $17$-clue regime, and also achieves the highest validity in unconditional generation.
- Abstract(参考訳): カテゴリー生成のための離散拡散モデルは、中間状態空間と関連する逆予測問題を決定する汚職カーネルによって定義される。
我々は,一様離散拡散について検討し,その学習目標と逆遷移が,下層の分類的腐敗過程を変えることなく,富化できるかどうかを問う。
Simplaxはディリクレ-カテゴリー拡張法で、それぞれの崩壊したカテゴリ状態と補助的単純度値変数を結合し、元の一様拡散過程をそのカテゴリ境界として保存する。
この増大は、劣化したカテゴリー状態をデノイザ入力として保持しつつ、トラクタブルなラオ−ブラックウェル化逆ブリッジ目標と対応する確率的逆サンプリングを行う。
Simplaxは、非条件のOpenWebText生成における生成的複雑度-エントロピートレードオフを実証的に改善する。
数独では、30ドルのパズルのみに特化して訓練されたモデルは、最小限の17ドルのルールを含むすべての評価された手がかり密度で比較した手法の中で最高精度を達成し、非条件生成において最も高い妥当性を達成している。
関連論文リスト
- Scale-Consistent Posterior Dynamics for Diffusion Inverse Problems [16.685352002333225]
事前訓練された拡散前の後方サンプリングは、一般に難易度成分を有する条件付きスコアによって管理される。
クリーン後部にターゲットが近づいた騒音条件付き経路が連続的なサロゲートSDEを生成することを示す。
FFHQ と ImageNet の100点評価実験により,超解像および分解能の競争再現性を示す。
論文 参考訳(メタデータ) (2026-08-15T09:38:41Z) - What Does a Discrete Diffusion Model Learn? [71.03603607324338]
離散拡散モデルは、デノイザ、スコア比、ブリッジプラグイン予測器などを学ぶ。
まず, 連続時間マルコフ連鎖 (CTMC) ELBO の任意のノイズ発生過程に対する厳密な導出から始める。
すべてのアイデンティティは、正確に解けるモデル上で近似なしで数値的に検証される。
論文 参考訳(メタデータ) (2026-07-06T17:56:11Z) - Efficient Sampling with Discrete Diffusion Models: Sharp and Adaptive Guarantees [9.180350432640912]
連続時間マルコフ連鎖(CTMC)の定式化によるスコアベース離散拡散モデルのサンプリング効率について検討した。
一様離散拡散に対して、$$-leapingアルゴリズムは位数$tilde O(d/varepsilon)$の複雑さを達成することを示す。
離散拡散をマスキングするために,本質的な情報理論量によって収束率を制御した$$-leapingサンプルラを導入する。
論文 参考訳(メタデータ) (2026-02-16T18:48:17Z) - Tilt Matching for Scalable Sampling and Fine-Tuning [4.14348726233299]
本研究では,非正規化密度のサンプルや微調整生成モデルに補間剤を用いるスケーラブルなアルゴリズムを提案する。
ティルトマッチング(Tilt Matching)という手法は、流れのマッチング速度と、報酬によって傾いた同じ分布をターゲットにした力学方程式から生じる。
我々は,この手法が効率的かつ高度に拡張可能であることを実証的に検証し,レナード・ジョーンズポテンシャルの下でのサンプリングにおける最先端の結果を提供し,微調整安定拡散に競争力を持つことを示した。
論文 参考訳(メタデータ) (2025-12-26T02:12:10Z) - Effective Test-Time Scaling of Discrete Diffusion through Iterative Refinement [51.54933696252104]
離散拡散に適した新しいテスト時間スケーリング手法であるイテレーティブ・リワードガイドリファインメント(IterRef)を導入する。
我々は、このプロセスをMultiple-Try Metropolisフレームワークで形式化し、報酬整合分布への収束を証明した。
IterRefは計算予算の低さで大幅に上昇し、最先端のベースラインをはるかに超えている。
論文 参考訳(メタデータ) (2025-11-04T02:33:23Z) - Self-diffusion for Solving Inverse Problems [3.8870795921263728]
我々は,事前学習された生成モデルに頼ることなく,逆問題を解決するための新しいフレームワークである自己拡散を提案する。
自己拡散はニューラルネットワークのスペクトルバイアスを利用して、スケジュールされたノイズプロセスを通じて変調する。
我々は, 線形逆問題に対するアプローチの有効性を実証し, 他の手法と比較して, 自己拡散が競争力や優れた性能を達成することを示す。
論文 参考訳(メタデータ) (2025-10-24T12:57:22Z) - Authentic Discrete Diffusion Model [72.31371542619121]
認証離散拡散(ADD)フレームワークは、従来の擬似離散的アプローチを再定義する。
ADDはフロートエンコードされたワンホットクラスデータを直接使用して拡散入力を再構成する。
実験により、ADDはベースラインと比較して分類タスクにおいて優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2025-10-01T15:51:10Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳(メタデータ) (2024-05-29T01:32:17Z) - DensePure: Understanding Diffusion Models towards Adversarial Robustness [110.84015494617528]
拡散モデルの特性を解析し,それらが証明された堅牢性を高める条件を確立する。
事前訓練されたモデル(すなわち分類器)の信頼性向上を目的とした新しいDensePure法を提案する。
このロバストな領域は多重凸集合の和であり、以前の研究で特定されたロバストな領域よりもはるかに大きい可能性が示されている。
論文 参考訳(メタデータ) (2022-11-01T08:18:07Z) - False membership rate control in mixture models [1.387448620257867]
クラスタリングタスクは、サンプルの要素を均質なグループに分割する。
教師付き設定では、このアプローチはよく知られており、禁忌オプションの分類として言及されている。
本稿では, 教師なし混合モデルフレームワークで再検討し, 偽会員率が予め定義された名目レベルを超えないことを保証する手法を開発することを目的とする。
論文 参考訳(メタデータ) (2022-03-04T22:37:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。