論文の概要: DiffusER: Discrete Diffusion via Edit-based Reconstruction

• arxiv url: http://arxiv.org/abs/2210.16886v1
• Date: Sun, 30 Oct 2022 16:55:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 15:21:26.527581
• Title: DiffusER: Discrete Diffusion via Edit-based Reconstruction
• Title（参考訳）: DiffusER: 編集ベースの再構成による離散拡散
• Authors: Machel Reid, Vincent J. Hellendoorn, Graham Neubig
• Abstract要約: DiffusERは、拡散モデルに基づくテキストの編集ベースの生成モデルである。 機械翻訳、要約、スタイル転送にまたがるいくつかのタスクにおいて、自動回帰モデルと競合する可能性がある。 また、標準的な自己回帰モデルに適さないような、他の種類の世代も実行することができる。
• 参考スコア（独自算出の注目度）: 88.62707047517914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In text generation, models that generate text from scratch one token at a time are currently the dominant paradigm. Despite being performant, these models lack the ability to revise existing text, which limits their usability in many practical scenarios. We look to address this, with DiffusER (Diffusion via Edit-based Reconstruction), a new edit-based generative model for text based on denoising diffusion models -- a class of models that use a Markov chain of denoising steps to incrementally generate data. DiffusER is not only a strong generative model in general, rivalling autoregressive models on several tasks spanning machine translation, summarization, and style transfer; it can also perform other varieties of generation that standard autoregressive models are not well-suited for. For instance, we demonstrate that DiffusER makes it possible for a user to condition generation on a prototype, or an incomplete sequence, and continue revising based on previous edit steps.
• Abstract（参考訳）: テキスト生成では、一度に1つのトークンをスクラッチからテキストを生成するモデルが主要なパラダイムである。 パフォーマンスに欠けるにもかかわらず、これらのモデルは既存のテキストを改訂する能力に欠けており、多くの現実的なシナリオにおけるユーザビリティを制限している。 我々は、ディフューザ(diffusion via edit-based reconstruction)によってこの問題に対処しようとしている。ディフューザ(diffusion by edit-based reconstruction)は、デノージング拡散モデルに基づくテキストのための新しい編集ベースの生成モデルであり、デノージングステップのマルコフ連鎖を使って漸進的にデータを生成するモデルである。 DiffusERは一般的な強力な生成モデルであるだけでなく、機械翻訳、要約、スタイル転送にまたがるいくつかのタスクにおいて自己回帰モデルと競合する。 例えば、ディフューザによって、プロトタイプや不完全なシーケンスでユーザが条件付き生成を行えるようになり、以前の編集ステップに従って修正を続けることができることを実証する。

関連論文リスト

• Diffusion Guided Language Modeling [28.819061884362792]
  多くのアプリケーションでは、感情など、生成された言語の属性を制御することが望ましい。 自動回帰言語モデルでは、既存のガイダンス手法は、生成時にカスケードしたエラーをデコードし、性能を低下させる。 本稿では,自己回帰型言語モデルを用いて所望の特性を持つテキストを生成するための遅延提案を誘導拡散モデルを用いて生成する。
  論文  参考訳（メタデータ） (2024-08-08T05:06:22Z)
• Discrete Diffusion Language Model for Long Text Summarization [19.267738861590487]
  本稿では,トランスフォーマーのバックボーンが長いシーケンスを効果的に扱えるような,セマンティック・アウェア・ノーミング・プロセスを提案する。 提案手法は,Gigaword,CNN/DailyMail,Arxivの3つのベンチマーク要約データセットに対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-06-25T09:55:22Z)
• PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
  本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。 意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
  論文  参考訳（メタデータ） (2023-06-05T01:36:39Z)
• Reduce, Reuse, Recycle: Compositional Generation with Energy-Based Diffusion Models and MCMC [102.64648158034568]
  拡散モデルは、多くの領域において、生成モデリングの一般的なアプローチとなっている。 本稿では,新しい構成演算子の利用を可能にする拡散モデルのエネルギーベースパラメータ化を提案する。 これらのサンプルは、幅広い問題にまたがって構成生成の顕著な改善につながっている。
  論文  参考訳（メタデータ） (2023-02-22T18:48:46Z)
• SeqDiffuSeq: Text Diffusion with Encoder-Decoder Transformers [50.90457644954857]
  本研究では,拡散モデルを用いてシーケンス・ツー・シーケンスのテキスト生成を行う。 シーケンス・ツー・シーケンス生成のためのテキスト拡散モデルであるSeqDiffuSeqを提案する。 実験結果は、テキストの品質と推論時間の観点から、シーケンス・ツー・シーケンス生成の優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-20T15:16:24Z)
• Text Generation with Text-Editing Models [78.03750739936956]
  このチュートリアルは、テキスト編集モデルと最先端のアプローチの概要を提供する。 生産化に関わる課題と、これらのモデルが幻覚や偏見を軽減するためにどのように使用できるかについて議論する。
  論文  参考訳（メタデータ） (2022-06-14T17:58:17Z)
• Learning to Model Editing Processes [98.11448946134894]
  本稿では、反復的にシーケンスを生成するプロセス全体をモデル化し、編集プロセスのモデリングを提案する。 我々は、多段階編集の可能性を記述するための概念的枠組みを構築し、これらの多段階編集に基づいてシーケンスの生成モデルを学ぶことができるニューラルネットワークを記述する。
  論文  参考訳（メタデータ） (2022-05-24T21:32:52Z)
• Text Generation with Deep Variational GAN [16.3190206770276]
  原則的アプローチによるモード崩壊問題に対処するために,GANベースのジェネリックフレームワークを提案する。 私たちのモデルは高い多様性で現実的なテキストを生成できることを示します。
  論文  参考訳（メタデータ） (2021-04-27T21:42:13Z)
• Improving Variational Autoencoder for Text Modelling with Timestep-Wise Regularisation [18.296350505386997]
  変分オートエンコーダ(VAE)は、テキストモデリングに適用された、多種多様な文を生成する人気かつ強力なモデルである。 しかし、後部崩壊(またはKL損失消滅)と呼ばれる問題は、VAEがテキストモデリングで使用されるときに発生する。 本稿では,TWR-VAE(Timestep-Wise Regularisation VAE)と呼ばれるシンプルな汎用アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-11-02T17:20:56Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。