論文の概要: DiffusER: Discrete Diffusion via Edit-based Reconstruction
- arxiv url: http://arxiv.org/abs/2210.16886v1
- Date: Sun, 30 Oct 2022 16:55:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 15:21:26.527581
- Title: DiffusER: Discrete Diffusion via Edit-based Reconstruction
- Title(参考訳): DiffusER: 編集ベースの再構成による離散拡散
- Authors: Machel Reid, Vincent J. Hellendoorn, Graham Neubig
- Abstract要約: DiffusERは、拡散モデルに基づくテキストの編集ベースの生成モデルである。
機械翻訳、要約、スタイル転送にまたがるいくつかのタスクにおいて、自動回帰モデルと競合する可能性がある。
また、標準的な自己回帰モデルに適さないような、他の種類の世代も実行することができる。
- 参考スコア(独自算出の注目度): 88.62707047517914
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In text generation, models that generate text from scratch one token at a
time are currently the dominant paradigm. Despite being performant, these
models lack the ability to revise existing text, which limits their usability
in many practical scenarios. We look to address this, with DiffusER (Diffusion
via Edit-based Reconstruction), a new edit-based generative model for text
based on denoising diffusion models -- a class of models that use a Markov
chain of denoising steps to incrementally generate data. DiffusER is not only a
strong generative model in general, rivalling autoregressive models on several
tasks spanning machine translation, summarization, and style transfer; it can
also perform other varieties of generation that standard autoregressive models
are not well-suited for. For instance, we demonstrate that DiffusER makes it
possible for a user to condition generation on a prototype, or an incomplete
sequence, and continue revising based on previous edit steps.
- Abstract(参考訳): テキスト生成では、一度に1つのトークンをスクラッチからテキストを生成するモデルが主要なパラダイムである。
パフォーマンスに欠けるにもかかわらず、これらのモデルは既存のテキストを改訂する能力に欠けており、多くの現実的なシナリオにおけるユーザビリティを制限している。
我々は、ディフューザ(diffusion via edit-based reconstruction)によってこの問題に対処しようとしている。ディフューザ(diffusion by edit-based reconstruction)は、デノージング拡散モデルに基づくテキストのための新しい編集ベースの生成モデルであり、デノージングステップのマルコフ連鎖を使って漸進的にデータを生成するモデルである。
DiffusERは一般的な強力な生成モデルであるだけでなく、機械翻訳、要約、スタイル転送にまたがるいくつかのタスクにおいて自己回帰モデルと競合する。
例えば、ディフューザによって、プロトタイプや不完全なシーケンスでユーザが条件付き生成を行えるようになり、以前の編集ステップに従って修正を続けることができることを実証する。
関連論文リスト
- Non-autoregressive Conditional Diffusion Models for Time Series
Prediction [3.9722979176564763]
TimeDiffは、高品質な時系列予測を実現する非自己回帰拡散モデルである。
我々はTimeDiffが既存の時系列拡散モデルより一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-06-08T08:53:59Z) - PLANNER: Generating Diversified Paragraph via Latent Language Diffusion
Model [39.43807901918387]
本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。
意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
論文 参考訳(メタデータ) (2023-06-05T01:36:39Z) - Reduce, Reuse, Recycle: Compositional Generation with Energy-Based
Diffusion Models and MCMC [106.06185677214353]
拡散モデルは、多くの領域において、生成モデリングの一般的なアプローチとなっている。
本稿では,新しい構成演算子の利用を可能にする拡散モデルのエネルギーベースパラメータ化を提案する。
これらのサンプルは、幅広い問題にまたがって構成生成の顕著な改善につながっている。
論文 参考訳(メタデータ) (2023-02-22T18:48:46Z) - SeqDiffuSeq: Text Diffusion with Encoder-Decoder Transformers [50.90457644954857]
本研究では,拡散モデルを用いてシーケンス・ツー・シーケンスのテキスト生成を行う。
シーケンス・ツー・シーケンス生成のためのテキスト拡散モデルであるSeqDiffuSeqを提案する。
実験結果は、テキストの品質と推論時間の観点から、シーケンス・ツー・シーケンス生成の優れた性能を示す。
論文 参考訳(メタデータ) (2022-12-20T15:16:24Z) - Text Generation with Text-Editing Models [78.03750739936956]
このチュートリアルは、テキスト編集モデルと最先端のアプローチの概要を提供する。
生産化に関わる課題と、これらのモデルが幻覚や偏見を軽減するためにどのように使用できるかについて議論する。
論文 参考訳(メタデータ) (2022-06-14T17:58:17Z) - Learning to Model Editing Processes [98.11448946134894]
本稿では、反復的にシーケンスを生成するプロセス全体をモデル化し、編集プロセスのモデリングを提案する。
我々は、多段階編集の可能性を記述するための概念的枠組みを構築し、これらの多段階編集に基づいてシーケンスの生成モデルを学ぶことができるニューラルネットワークを記述する。
論文 参考訳(メタデータ) (2022-05-24T21:32:52Z) - Text Generation with Deep Variational GAN [16.3190206770276]
原則的アプローチによるモード崩壊問題に対処するために,GANベースのジェネリックフレームワークを提案する。
私たちのモデルは高い多様性で現実的なテキストを生成できることを示します。
論文 参考訳(メタデータ) (2021-04-27T21:42:13Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳(メタデータ) (2021-02-02T06:15:15Z) - Improving Variational Autoencoder for Text Modelling with Timestep-Wise
Regularisation [18.296350505386997]
変分オートエンコーダ(VAE)は、テキストモデリングに適用された、多種多様な文を生成する人気かつ強力なモデルである。
しかし、後部崩壊(またはKL損失消滅)と呼ばれる問題は、VAEがテキストモデリングで使用されるときに発生する。
本稿では,TWR-VAE(Timestep-Wise Regularisation VAE)と呼ばれるシンプルな汎用アーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-11-02T17:20:56Z) - Factual Error Correction for Abstractive Summarization Models [41.77317902748772]
本稿では,生成した要約の事実誤りを訂正するための編集後修正モジュールを提案する。
本モデルでは,他の神経要約モデルによって生成された要約の事実誤りを補正できることが示されている。
また、人工的なエラー訂正から下流の設定への移行は依然として非常に困難であることもわかりました。
論文 参考訳(メタデータ) (2020-10-17T04:24:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。