論文の概要: Diverse Text Generation via Variational Encoder-Decoder Models with Gaussian Process Priors

• arxiv url: http://arxiv.org/abs/2204.01227v1
• Date: Mon, 4 Apr 2022 04:09:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 14:48:27.288561
• Title: Diverse Text Generation via Variational Encoder-Decoder Models with Gaussian Process Priors
• Title（参考訳）: ガウス過程を優先した変分エンコーダデコーダモデルによるテキスト生成
• Authors: Wanyu Du, Jianqiao Zhao, Liwei Wang, Yangfeng Ji
• Abstract要約: 高品質なテキストを生成するための新しい潜在構造変数モデルを提案する。 具体的には、決定論的エンコーダの隠蔽状態をランダムな文脈変数にマッピングする関数を導入する。 ガウス過程の学習課題に対処するために,効率的な変分推論手法を提案する。
• 参考スコア（独自算出の注目度）: 21.71928935339393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating high quality texts with high diversity is important for many NLG applications, but current methods mostly focus on building deterministic models to generate higher quality texts and do not provide many options for promoting diversity. In this work, we present a novel latent structured variable model to generate high quality texts by enriching contextual representation learning of encoder-decoder models. Specifically, we introduce a stochastic function to map deterministic encoder hidden states into random context variables. The proposed stochastic function is sampled from a Gaussian process prior to (1) provide infinite number of joint Gaussian distributions of random context variables (diversity-promoting) and (2) explicitly model dependency between context variables (accurate-encoding). To address the learning challenge of Gaussian processes, we propose an efficient variational inference approach to approximate the posterior distribution of random context variables. We evaluate our method in two typical text generation tasks: paraphrase generation and text style transfer. Experimental results on benchmark datasets demonstrate that our method improves the generation quality and diversity compared with other baselines.
• Abstract（参考訳）: 高品質なテキストを高い多様性で生成することは多くのNLGアプリケーションにとって重要であるが、現在の手法は主に高品質なテキストを生成するための決定論的モデルの構築に焦点を当てており、多様性を促進するための選択肢は多くない。 本稿では,エンコーダ・デコーダモデルの文脈表現学習を豊かにすることで高品質なテキストを生成するための,新しい潜在構造変数モデルを提案する。 具体的には、決定論的エンコーダ隠れ状態をランダムな文脈変数にマッピングする確率関数を導入する。 提案する確率関数は,(1)ランダムコンテキスト変数の無限個の結合ガウス分布(多様性プロモーティング)と(2)コンテキスト変数間の明示的なモデル依存性(正確なエンコーディング)を与える前のガウス過程からサンプリングされる。 ガウス過程の学習課題を解決するために,ランダムな文脈変数の後方分布を近似する効率的な変分推論手法を提案する。 提案手法をパラフレーズ生成とテキストスタイル転送という2つの典型的なテキスト生成タスクで評価する。 ベンチマークデータセットによる実験結果から,本手法は他のベースラインに比べて生成品質と多様性が向上することが示された。

関連論文リスト

• Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation [60.493180081319785]
  本稿では,各復号工程における多様性とリスクのトレードオフを考慮し,トラクションサンプリング手法の本質的な能力を推定する体系的手法を提案する。 本研究は,既存のトラクションサンプリング手法の総合的な比較と,ユーザのガイドラインとして推奨されるパラメータについて紹介する。
  論文  参考訳（メタデータ） (2024-08-24T14:14:32Z)
• Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation [0.20971479389679337]
  コントラスト探索を拡張した新しい復号法であるアダプティブコントラスト探索を導入する。 この結果から,異なるモデルアーキテクチャとデータセットの両面でのパフォーマンス向上が示唆された。
  論文  参考訳（メタデータ） (2024-07-26T12:23:54Z)
• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
  現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。 本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。 この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
  論文  参考訳（メタデータ） (2023-10-02T09:35:27Z)
• SeqDiffuSeq: Text Diffusion with Encoder-Decoder Transformers [50.90457644954857]
  本研究では,拡散モデルを用いてシーケンス・ツー・シーケンスのテキスト生成を行う。 シーケンス・ツー・シーケンス生成のためのテキスト拡散モデルであるSeqDiffuSeqを提案する。 実験結果は、テキストの品質と推論時間の観点から、シーケンス・ツー・シーケンス生成の優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-20T15:16:24Z)
• A Contrastive Framework for Neural Text Generation [46.845997620234265]
  モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。 モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
  論文  参考訳（メタデータ） (2022-02-13T21:46:14Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Disentangling Generative Factors in Natural Language with Discrete Variational Autoencoders [0.0]
  連続変数は、テキスト中のほとんどの生成因子が離散的であるという事実から、テキストデータの特徴をモデル化するのに理想的ではないかもしれない。 本稿では,言語特徴を離散変数としてモデル化し,不整合表現を学習するための変数間の独立性を促進する変分自動符号化手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T09:10:05Z)
• Generating Diverse Descriptions from Semantic Graphs [38.28044884015192]
  アンデコーダモデルに潜在変数を組み込んだグラフ・トゥ・テキストモデルとそのアンサンブルでの使用について述べる。 我々は,様々な文の集合を生成するモデル群を,最先端のモデルに類似した品質を維持しながら示す。 我々は、WebNLGのデータセットを英語とロシア語で評価し、様々な文の集合を生成するモデルの集合を示すとともに、最先端のモデルに類似した品質を維持している。
  論文  参考訳（メタデータ） (2021-08-12T11:00:09Z)
• Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
  本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。 具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
  論文  参考訳（メタデータ） (2020-04-29T17:43:24Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。