論文の概要: Grab a Coffee: Future-Aware Guidance for Discrete Diffusion with Compiled Objectives
- arxiv url: http://arxiv.org/abs/2609.35924v1
- Date: Mon, 28 Sep 2026 11:51:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.89377
- Title: Grab a Coffee: Future-Aware Guidance for Discrete Diffusion with Compiled Objectives
- Title(参考訳): Grab a Coffee: コンパイル対象との離散拡散のための将来のガイダンス
- Abstract要約: 目的からシーケンス依存を分離することで計算を回避するための,プラグアンドプレイフレームワークであるCOFFEEを紹介する。
複数のシンボル、言語、生物学的ベンチマークでCOFFEEを評価し、タスク依存の品質と多様性のトレードオフによる強力な制御結果を得る。
- 参考スコア(独自算出の注目度): 37.22210747340535
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Discrete diffusion models generate sequences by iteratively resolving multiple tokens in parallel, offering a flexible alternative to left-to-right generation. However, guiding this process with a sequence-level objective is difficult because the value of one unresolved token depends on the other tokens with which it can form a high-reward sequence. Enumerating all such completions makes the whole guidance computation grow exponentially with the number of unresolved positions. We introduce COFFEE, a plug-and-play framework that avoids this enumeration by separating sequence dependence from the objective. At each diffusion step, a target-free carrier absorbs the marginal token distributions predicted by the denoiser to construct a joint model over the unresolved tokens, while a compiled finite-state model records how their combinations affect the sequence-level preference. Pairing their states allows COFFEE to transfer global preferences to unresolved positions and sample a clean reconstruction without retraining the diffusion model. The same framework supports explicit hard constraints and learned soft objectives. We evaluate COFFEE across multiple symbolic, language, and biological benchmarks, where it achieves strong control results with task-dependent quality and diversity trade-offs. By making objectives available to inference rather than only evaluation, COFFEE brings joint conditioning, completion-weighted guidance, and optimization-based constraints into pretrained neural generation, showing the potential of neural-symbolic methods in diffusion guidance.
- Abstract(参考訳): 離散拡散モデルは、複数のトークンを並列に繰り返し解決することでシーケンスを生成し、左から右への生成の柔軟な代替手段を提供する。
しかし、1つの未解決トークンの値が高逆列を形成する他のトークンに依存するため、この過程をシーケンスレベルの目的で導くことは困難である。
このような完了を列挙すると、ガイダンス全体の計算は未解決位置の数とともに指数関数的に増加する。
我々は、この列挙を避けるために、目的からシーケンス依存を分離するプラグイン・アンド・プレイのフレームワークであるCOFFEEを紹介する。
各拡散ステップにおいて、ターゲットフリーキャリアは、デノイザによって予測される限界トークン分布を吸収し、未解決トークン上のジョイントモデルを構築し、コンパイルされた有限状態モデルは、それらの組み合わせがシーケンスレベルの嗜好にどのように影響するかを記録する。
それらの状態をペアリングすることで、COFFEEは拡散モデルを再訓練することなく、グローバルな選好を未解決の位置に転送し、クリーンな再構築をサンプリングすることができる。
同じフレームワークは明示的なハード制約をサポートし、ソフトな目標を学習する。
複数のシンボル、言語、生物学的ベンチマークでCOFFEEを評価し、タスク依存の品質と多様性のトレードオフによる強力な制御結果を得る。
COFFEEは、評価だけでなく、推論に目的を持たせることによって、共同条件付け、完了重み付けガイダンス、最適化に基づく制約を事前訓練された神経生成に導入し、拡散誘導におけるニューラルシンボリック手法の可能性を示す。
関連論文リスト
- Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。
パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
論文 参考訳(メタデータ) (2026-06-09T13:17:27Z) - Adaptation to Intrinsic Dependence in Diffusion Language Models [5.185131234265025]
拡散言語モデル(DLM)は自己回帰(AR)アプローチに代わる有望な代替手段として登場した。
対象データ分布の(未知の)依存構造に適応するDLMの分布に依存しないアンマスキングスケジュールを提案する。
この結果は, 先行収束理論を著しく改善し, 低複雑さ分布に対する相当なサンプリング加速を得た。
論文 参考訳(メタデータ) (2026-02-23T18:41:34Z) - Synthesising Counterfactual Explanations via Label-Conditional Gaussian Mixture Variational Autoencoders [24.716251378991288]
対実的説明(CE)は、アルゴリズム上の決定によって影響を受ける個人に対して、レコメンデーションのレコメンデーションを提供する。
既存の手法は主に、統一されたモデルに依存しない方法でこれらの多面的要求に対処するのに苦労する。
本稿では,入力の潜時表現から学習した潜時セントロイドへの補間によりCE点の全経路を合成するモデル非依存アルゴリズムであるLAPACEを提案する。
論文 参考訳(メタデータ) (2025-10-06T14:42:23Z) - Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。
我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。
我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
論文 参考訳(メタデータ) (2025-04-29T06:33:13Z) - Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。
因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
論文 参考訳(メタデータ) (2024-07-01T15:43:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。