論文の概要: Constrained Discrete Diffusion

• arxiv url: http://arxiv.org/abs/2503.09790v2
• Date: Tue, 27 May 2025 23:48:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 15:04:27.437959
• Title: Constrained Discrete Diffusion
• Title（参考訳）: Constrained Discrete Diffusion
• Authors: Michael Cardei, Jacob K Christopher, Thomas Hartvigsen, Brian R. Bartoldson, Bhavya Kailkhura, Ferdinando Fioretto,
• Abstract要約: 本稿では,拡散過程における微分可能制約最適化の新たな統合であるCDD(Constrained Discrete Diffusion)を紹介する。 CDDは直接、離散拡散サンプリングプロセスに制約を課し、トレーニング不要で効果的なアプローチをもたらす。
• 参考スコア（独自算出の注目度）: 61.81569616239755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete diffusion models are a class of generative models that construct sequences by progressively denoising samples from a categorical noise distribution. Beyond their rapidly growing ability to generate coherent natural language, these models present a new and important opportunity to enforce sequence-level constraints, a capability that current autoregressive models cannot natively provide. This paper capitalizes on this opportunity by introducing Constrained Discrete Diffusion (CDD), a novel integration of differentiable constraint optimization within the diffusion process to ensure adherence to constraints, logic rules, or safety requirements for generated sequences. Unlike conventional text generators that often rely on post-hoc filtering or model retraining for controllable generation, CDD directly imposes constraints into the discrete diffusion sampling process, resulting in a training-free and effective approach. Experiments in toxicity-controlled text generation, property-constrained molecule design, and instruction-constrained text completion demonstrate that CDD achieves zero constraint violations in a diverse array of tasks while preserving fluency, novelty, and coherence while outperforming autoregressive and existing discrete diffusion approaches.
• Abstract（参考訳）: 離散拡散モデル(英: Discrete diffusion model)は、分類的雑音分布からサンプルを段階的に分解することによってシーケンスを構成する生成モデルのクラスである。 一貫性のある自然言語を生成する能力が急速に向上するのに加えて、これらのモデルは、現在の自己回帰モデルがネイティブに提供できない、シーケンスレベルの制約を強制する新しい重要な機会を提供する。 本稿では,CDD(Constrained Discrete Diffusion)を導入して,制約や論理則,あるいは生成シーケンスに対する安全性要件の遵守を保証するために,拡散プロセス内での微分可能な制約最適化の新たな統合を実現する。 制御可能な生成のためにポストホックフィルタリングやモデル再トレーニングにしばしば依存する従来のテキストジェネレータとは異なり、CDDは離散拡散サンプリングプロセスに直接制約を課し、トレーニング不要で効果的なアプローチをもたらす。 毒性制御されたテキスト生成、特性制約付き分子設計、命令制約付きテキスト補完の実験により、CDDは、自己回帰的および既存の離散拡散アプローチよりも優れた自己回帰的かつ新規性、一貫性を維持しながら、様々なタスクにおいてゼロ制約違反を達成することを示した。

関連論文リスト

• Generalized Interpolating Discrete Diffusion [65.74168524007484]
  仮面拡散はその単純さと有効性のために一般的な選択である。 離散拡散過程を補間する一般族の理論的バックボーンを導出する。 GIDDのフレキシビリティをエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索する。
  論文  参考訳（メタデータ） (2025-03-06T14:30:55Z)
• Controlled LLM Decoding via Discrete Auto-regressive Biasing [9.843359827321194]
  制御されたテキスト生成は、大きな言語モデルの出力に対してユーザ定義の制約を強制することができる。 離散テキスト領域で完全に動作しながら勾配を利用する制御復号アルゴリズムである離散自己回帰バイアス法を提案する。 提案手法は,計算コストの低減を図るとともに,制約満足度を著しく向上させる。
  論文  参考訳（メタデータ） (2025-02-06T00:14:43Z)
• Diffusion Predictive Control with Constraints [51.91057765703533]
  制約付き拡散予測制御(DPCC) トレーニングデータから逸脱可能な、明示的な状態と行動制約を持つ拡散制御アルゴリズム。 DPCCは,学習した制御タスクの性能を維持しつつ,新しいテスト時間制約を満たす上で,既存の手法よりも優れるロボットマニピュレータのシミュレーションを通して示す。
  論文  参考訳（メタデータ） (2024-12-12T15:10:22Z)
• Conditional [MASK] Discrete Diffusion Language Model [14.208510167132983]
  Diffusion-EAGSは、条件付きマスキング言語モデルと拡散言語モデルを統合するフレームワークである。 本研究では,Diffusion-EAGSが最高の品質・多様性のトレードオフを実現し,非自己回帰テキスト生成の有効性を示す。
  論文  参考訳（メタデータ） (2024-11-10T11:49:36Z)
• Constrained Synthesis with Projected Diffusion Models [47.56192362295252]
  本稿では, 制約や物理原理の遵守を満足し, 証明する上で, 生成拡散プロセスへのアプローチを紹介する。 提案手法は, 従来の生成拡散過程を制約分布問題として再キャストし, 制約の順守を保証する。
  論文  参考訳（メタデータ） (2024-02-05T22:18:16Z)
• TESS: Text-to-Text Self-Conditioned Simplex Diffusion [56.881170312435444]
  テキストからテキストへの自己条件付きSimplex Diffusionは、新しい形式のセルフコンディショニングを採用し、学習された埋め込み空間ではなく、ロジット単純空間に拡散プロセスを適用する。 我々は、TESSが最先端の非自己回帰モデルより優れており、性能の低下を最小限に抑えた拡散ステップを少なくし、事前訓練された自己回帰列列列列モデルと競合することを示した。
  論文  参考訳（メタデータ） (2023-05-15T06:33:45Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)
• Conditional Hybrid GAN for Sequence Generation [56.67961004064029]
  本稿では,この問題を解決するための条件付きハイブリッドGAN(C-Hybrid-GAN)を提案する。 我々はGumbel-Softmax法を利用して離散値列の分布を近似する。 提案したC-Hybrid-GANは、文脈条件付き離散値シーケンス生成において既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-18T03:52:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。