論文の概要: Constrained Language Generation with Discrete Diffusion Models

• arxiv url: http://arxiv.org/abs/2503.09790v1
• Date: Wed, 12 Mar 2025 19:48:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:54:46.725427
• Title: Constrained Language Generation with Discrete Diffusion Models
• Title（参考訳）: 離散拡散モデルを用いた制約言語生成
• Authors: Michael Cardei, Jacob K Christopher, Thomas Hartvigsen, Brian R. Bartoldson, Bhavya Kailkhura, Ferdinando Fioretto,
• Abstract要約: 本稿では,離散拡散モデルと微分可能最適化を統合し,自然言語に制約を課す新しい手法であるConstrained Discrete Diffusion (CDD)を提案する。 本手法は, 有害な内容の出現防止による毒性軽減, (ii) 形質および配列レベルの語彙的制約, (iii) 特定の性質に順応した新規分子配列生成など, 様々な自然言語制約を満たすために適用可能であることを示す。
• 参考スコア（独自算出の注目度）: 61.81569616239755
• License:
• Abstract: Constraints are critical in text generation as LLM outputs are often unreliable when it comes to ensuring generated outputs adhere to user defined instruction or general safety guidelines. To address this gap, we present Constrained Discrete Diffusion (CDD), a novel method for enforcing constraints on natural language by integrating discrete diffusion models with differentiable optimization. Unlike conventional text generators, which often rely on post-hoc filtering or model retraining for controllable generation, we propose imposing constraints directly into the discrete diffusion sampling process. We illustrate how this technique can be applied to satisfy a variety of natural language constraints, including (i) toxicity mitigation by preventing harmful content from emerging, (ii) character and sequence level lexical constraints, and (iii) novel molecule sequence generation with specific property adherence. Experimental results show that our constraint-aware procedure achieves high fidelity in meeting these requirements while preserving fluency and semantic coherence, outperforming auto-regressive and existing discrete diffusion approaches.
• Abstract（参考訳）: 制約はテキスト生成において重要であり、LCM出力がユーザ定義の命令や一般的な安全ガイドラインに準拠することを保証するために、しばしば信頼できない。 このギャップに対処するために,離散拡散モデルと微分可能最適化を組み合わせることで,自然言語に制約を課す新しい手法であるConstrained Discrete Diffusion (CDD)を提案する。 制御可能な生成のためにポストホックフィルタやモデル再構成に頼る従来のテキストジェネレータとは異なり、離散拡散サンプリングプロセスに直接制約を課すことを提案する。 この手法が自然言語の制約を満たすためにどのように応用できるかを説明する。 一 有害成分の発生を防止して毒性を緩和すること。 (二)文字・シーケンスレベルの語彙制約、及び 三 特異な性質を有する新規な分子配列生成。 実験結果から,これらの要件を満たす上で,適応性や意味的コヒーレンスを保ち,自己回帰的かつ既存の離散拡散的アプローチよりも高い精度を達成できることが示唆された。

関連論文リスト

• Controlled LLM Decoding via Discrete Auto-regressive Biasing [9.843359827321194]
  制御されたテキスト生成は、大きな言語モデルの出力に対してユーザ定義の制約を強制することができる。 離散テキスト領域で完全に動作しながら勾配を利用する制御復号アルゴリズムである離散自己回帰バイアス法を提案する。 提案手法は,計算コストの低減を図るとともに,制約満足度を著しく向上させる。
  論文  参考訳（メタデータ） (2025-02-06T00:14:43Z)
• Simple Guidance Mechanisms for Discrete Diffusion Models [44.377206440698586]
  我々は、均一ノイズを利用した新しい拡散モデルを開発し、その出力を連続的に編集できるため、より誘導可能である。 我々はこれらのモデルの品質を、最先端の性能をもたらす新しい連続時間変動下界で改善する。
  論文  参考訳（メタデータ） (2024-12-13T15:08:30Z)
• Diffusion Predictive Control with Constraints [51.91057765703533]
  制約付き拡散予測制御(DPCC) トレーニングデータから逸脱可能な、明示的な状態と行動制約を持つ拡散制御アルゴリズム。 DPCCは,学習した制御タスクの性能を維持しつつ,新しいテスト時間制約を満たす上で,既存の手法よりも優れるロボットマニピュレータのシミュレーションを通して示す。
  論文  参考訳（メタデータ） (2024-12-12T15:10:22Z)
• Conditional [MASK] Discrete Diffusion Language Model [14.208510167132983]
  Diffusion-EAGSは、条件付きマスキング言語モデルと拡散言語モデルを統合するフレームワークである。 本研究では,Diffusion-EAGSが最高の品質・多様性のトレードオフを実現し,非自己回帰テキスト生成の有効性を示す。
  論文  参考訳（メタデータ） (2024-11-10T11:49:36Z)
• TESS: Text-to-Text Self-Conditioned Simplex Diffusion [56.881170312435444]
  テキストからテキストへの自己条件付きSimplex Diffusionは、新しい形式のセルフコンディショニングを採用し、学習された埋め込み空間ではなく、ロジット単純空間に拡散プロセスを適用する。 我々は、TESSが最先端の非自己回帰モデルより優れており、性能の低下を最小限に抑えた拡散ステップを少なくし、事前訓練された自己回帰列列列列モデルと競合することを示した。
  論文  参考訳（メタデータ） (2023-05-15T06:33:45Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)
• COLD Decoding: Energy-based Constrained Text Generation with Langevin Dynamics [69.8062252611486]
  コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。 制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2022-02-23T18:59:27Z)
• Conditional Hybrid GAN for Sequence Generation [56.67961004064029]
  本稿では,この問題を解決するための条件付きハイブリッドGAN(C-Hybrid-GAN)を提案する。 我々はGumbel-Softmax法を利用して離散値列の分布を近似する。 提案したC-Hybrid-GANは、文脈条件付き離散値シーケンス生成において既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-18T03:52:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。