論文の概要: Conditional [MASK] Discrete Diffusion Language Model

• arxiv url: http://arxiv.org/abs/2411.06438v3
• Date: Mon, 17 Feb 2025 12:33:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:06:41.703718
• Title: Conditional [MASK] Discrete Diffusion Language Model
• Title（参考訳）: 条件[MASK]離散拡散言語モデル
• Authors: Hyukhun Koh, Minha Jhang, Dohyung Kim, Sangmook Lee, Kyomin Jung,
• Abstract要約: Diffusion-EAGSは、条件付きマスキング言語モデルと拡散言語モデルを統合するフレームワークである。 本研究では,Diffusion-EAGSが最高の品質・多様性のトレードオフを実現し,非自己回帰テキスト生成の有効性を示す。
• 参考スコア（独自算出の注目度）: 14.208510167132983
• License:
• Abstract: Although auto-regressive models excel in natural language processing, they often struggle to generate diverse text and provide limited controllability. Non-auto-regressive methods could be an alternative but often produce degenerate outputs and exhibit shortcomings in conditional generation. To address these challenges, we propose Diffusion-EAGS, a novel framework that integrates conditional masked language models into diffusion language models through the theoretical lens of a conditional Markov Random Field. In doing so, we propose entropy-adaptive Gibbs sampling and entropy-based noise scheduling to counterbalance each model's shortcomings. Experimental results show that Diffusion-EAGS outperforms baselines and achieves the best quality-diversity tradeoff, demonstrating its effectiveness in non-autoregressive text generation.
• Abstract（参考訳）: 自動回帰モデルは自然言語処理に優れているが、多種多様なテキストを生成するのに苦労し、限られた制御性を提供する。 非自己回帰的手法は代替となる可能性があるが、しばしば退化出力を生成し、条件付き生成において欠点を示す。 これらの課題に対処するために、条件付きマスク付き言語モデルと拡散言語モデルを統合する新しいフレームワークであるDiffusion-EAGSを提案する。 そこで我々は,各モデルの欠点を相殺するために,エントロピー適応型ギブズサンプリングとエントロピーベースノイズスケジューリングを提案する。 実験結果から,Diffusion-EAGSはベースラインを上回り,最高の品質・多様性のトレードオフを実現し,非自己回帰テキスト生成の有効性を示した。

関連論文リスト

• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Training-free Diffusion Model Alignment with Sampling Demons [15.400553977713914]
  提案手法は,報酬関数やモデル再学習を介さずに,推論時の復調過程を導出するための最適化手法である。 提案手法は,高報酬に対応する領域の密度を最適化することにより,雑音分布の制御を行う。 我々の知る限り、提案手法は拡散モデルに対する最初の推論時間、バックプロパゲーションフリーな選好アライメント法である。
  論文  参考訳（メタデータ） (2024-10-08T07:33:49Z)
• Model-Based Diffusion for Trajectory Optimization [8.943418808959494]
  データ無しで軌道最適化(TO)問題を解決するために拡散法を用いた最適化手法であるモデルベース拡散(MBD)を導入する。 MBDは外部データを必要としないが、様々な性質のデータと自然に統合して拡散過程を制御できる。 MBDは、最先端の強化学習とサンプリングベースのTOメソッドを上回り、コンタクトリッチなタスクに挑戦する。
  論文  参考訳（メタデータ） (2024-05-28T22:14:25Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• EDA-DM: Enhanced Distribution Alignment for Post-Training Quantization of Diffusion Models [4.21216544443537]
  量子化はモデルの複雑性を効果的に低減し、後学習量子化(PTQ)は拡散モデルの圧縮と加速に非常に有望である。 既存の拡散モデルのPTQ法は, キャリブレーションサンプルレベルと再構成出力レベルの両方の分布ミスマッチ問題に悩まされている。 本稿では,拡散モデル(EDA-DM)の学習後量子化のための分散アライメントの強化について述べる。
  論文  参考訳（メタデータ） (2024-01-09T14:42:49Z)
• Fast Sampling via Discrete Non-Markov Diffusion Models [49.598085130313514]
  離散データ生成のための高速化された逆サンプリングを許容する離散非マルコフ拡散モデルを提案する。 提案手法は, ニューラルネットワークに対する関数評価の回数を大幅に削減し, サンプリング処理を高速化する。
  論文  参考訳（メタデータ） (2023-12-14T18:14:11Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Variance-Preserving-Based Interpolation Diffusion Models for Speech Enhancement [53.2171981279647]
  本稿では,VP-および分散拡散(VE)に基づく拡散法の両方をカプセル化するフレームワークを提案する。 本研究では,拡散モデルで発生する一般的な困難を解析し,性能の向上とモデルトレーニングの容易化を図る。 我々は,提案手法の有効性を示すために,公開ベンチマークを用いたいくつかの手法によるモデルの評価を行った。
  論文  参考訳（メタデータ） (2023-06-14T14:22:22Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。