論文の概要: RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling

• arxiv url: http://arxiv.org/abs/2310.10567v2
• Date: Mon, 23 Oct 2023 12:16:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 06:07:52.091039
• Title: RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling
• Title（参考訳）: RegaVAE:言語モデリングのための検索型ガウス混合変分自動エンコーダ
• Authors: Jingcheng Deng, Liang Pang, Huawei Shen, Xueqi Cheng
• Abstract要約: 可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
• 参考スコア（独自算出の注目度）: 79.56442336234221
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented language models show promise in addressing issues like outdated information and hallucinations in language models (LMs). However, current research faces two main problems: 1) determining what information to retrieve, and 2) effectively combining retrieved information during generation. We argue that valuable retrieved information should not only be related to the current source text but also consider the future target text, given the nature of LMs that model future tokens. Moreover, we propose that aggregation using latent variables derived from a compact latent space is more efficient than utilizing explicit raw text, which is limited by context length and susceptible to noise. Therefore, we introduce RegaVAE, a retrieval-augmented language model built upon the variational auto-encoder (VAE). It encodes the text corpus into a latent space, capturing current and future information from both source and target text. Additionally, we leverage the VAE to initialize the latent space and adopt the probabilistic form of the retrieval generation paradigm by expanding the Gaussian prior distribution into a Gaussian mixture distribution. Theoretical analysis provides an optimizable upper bound for RegaVAE. Experimental results on various datasets demonstrate significant improvements in text generation quality and hallucination removal.
• Abstract（参考訳）: 検索可能な言語モデルは、古い情報や言語モデル(LM)の幻覚といった問題に対処する上で有望である。 しかし、現在の研究は2つの問題に直面している。 1)取得すべき情報を決定すること、及び 2) 生成中の検索情報を効果的に組み合わせること。 将来的なトークンをモデル化するLMの性質を考えると,有効な検索情報は現在のソーステキストだけでなく,将来のターゲットテキストも考慮すべきである。 さらに,コンパクトな潜在空間から派生した潜在変数を用いたアグリゲーションは,文脈長によって制限され雑音に影響を受けやすい明示的な原文の活用よりも効率的である。 そこで本稿では,可変オートエンコーダ(VAE)に基づく検索拡張言語モデルRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソーステキストとターゲットテキストの両方から現在および将来の情報をキャプチャする。 さらに,vaeを用いて潜在空間を初期化し,ガウス前分布をガウス混合分布に拡張することにより,検索生成パラダイムの確率的形式を採用する。 理論的解析はRegaVAEの最適化可能な上限を与える。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。

関連論文リスト

• QAEA-DR: A Unified Text Augmentation Framework for Dense Retrieval [12.225881591629815]
  厳密な検索では、長いテキストを密度の高いベクトルに埋め込むと、情報が失われ、クエリとテキストのマッチングが不正確になる。 近年の研究では,文の埋め込みモデルや検索プロセスの改善を中心に研究が進められている。 本稿では,高密度検索のための新しいテキスト拡張フレームワークを導入し,生文書を高密度テキスト形式に変換する。
  論文  参考訳（メタデータ） (2024-07-29T17:39:08Z)
• Optimizing Factual Accuracy in Text Generation through Dynamic Knowledge Selection [71.20871905457174]
  言語モデル(LM)は、私たちが情報と対話する方法に革命をもたらしたが、しばしば非現実的なテキストを生成する。 従来の手法では、外部知識をテキスト生成の参照として使用して事実性を高めるが、無関係な参照の知識の混在に苦慮することが多い。 本稿では,テキスト生成プロセスを反復処理に分割するDKGenを提案する。
  論文  参考訳（メタデータ） (2023-08-30T02:22:40Z)
• Towards Computationally Verifiable Semantic Grounding for Language Models [18.887697890538455]
  本論文は、エンティティ関係三重項の集合として形式化された所望のセマンティックメッセージが与えられた条件モデル生成テキストとしてLMを概念化する。 LMを自動エンコーダに埋め込むと、出力が入力メッセージと同じ表現領域にあるセマンティック・フラエンシに出力を送り込む。 提案手法は,グリーディ検索のベースラインを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2022-11-16T17:35:52Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
  変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。 情報不足と後部崩壊という2つの課題に悩まされている。 本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
  論文  参考訳（メタデータ） (2021-06-16T06:36:26Z)
• Topical Language Generation using Transformers [4.795530213347874]
  本稿では,事前学習したLMとトピックモデリング情報を組み合わせることで,トピック言語生成(TLG)の新しいアプローチを提案する。 我々は,新しいパラメータと関数を導入して,生成したテキストに提示される話題特徴量に影響を与えるモデルを拡張する。 実験結果から,復号化の高速化とともに,コヒーレンシー,多様性,流線型性の向上が得られた。
  論文  参考訳（メタデータ） (2021-03-11T03:45:24Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• AriEL: volume coding for sentence generation [5.972927416266617]
  連続空間を均一にサンプリングすることで文を生成する深層学習における標準手法の性能を向上させる。 我々は、損失関数によるボリュームの生成を奨励することなく、連続した空間でボリュームを構成するAriELを提案する。 以上の結果から,記憶されている情報へのランダムなアクセスが劇的に改善され,AriELが潜在空間をランダムにサンプリングすることで,より広い範囲の正しい言語を生成できることが示唆された。
  論文  参考訳（メタデータ） (2020-03-30T16:30:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。