論文の概要: Discrete Auto-regressive Variational Attention Models for Text Modeling

• arxiv url: http://arxiv.org/abs/2106.08571v1
• Date: Wed, 16 Jun 2021 06:36:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 17:43:06.417422
• Title: Discrete Auto-regressive Variational Attention Models for Text Modeling
• Title（参考訳）: テキストモデリングのための離散自己回帰変動注意モデル
• Authors: Xianghong Fang and Haoli Bai and Jian Li and Zenglin Xu and Michael Lyu and Irwin King
• Abstract要約: 変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。 情報不足と後部崩壊という2つの課題に悩まされている。 本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
• 参考スコア（独自算出の注目度）: 53.38382932162732
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Variational autoencoders (VAEs) have been widely applied for text modeling. In practice, however, they are troubled by two challenges: information underrepresentation and posterior collapse. The former arises as only the last hidden state of LSTM encoder is transformed into the latent space, which is generally insufficient to summarize the data. The latter is a long-standing problem during the training of VAEs as the optimization is trapped to a disastrous local optimum. In this paper, we propose Discrete Auto-regressive Variational Attention Model (DAVAM) to address the challenges. Specifically, we introduce an auto-regressive variational attention approach to enrich the latent space by effectively capturing the semantic dependency from the input. We further design discrete latent space for the variational attention and mathematically show that our model is free from posterior collapse. Extensive experiments on language modeling tasks demonstrate the superiority of DAVAM against several VAE counterparts.
• Abstract（参考訳）: 変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。 しかし実際には、情報不足と後方崩壊という2つの課題に悩んでいる。 前者はLSTMエンコーダの最後の隠れ状態のみが潜在空間に変換されるため、概してデータを要約するには不十分である。 後者は、vaesのトレーニング中の長期にわたる問題であり、最適化は悲惨な局所的最適化に捕捉される。 本稿では,DAVAM(Disdisrete Auto-Regressive Variational Attention Model)を提案する。 具体的には,入力から意味的依存を効果的に捉え,潜在空間を豊かにするために,自己回帰的変分的注意アプローチを導入する。 さらに, 変分注意のための離散潜在空間の設計を行い, モデルが後方崩壊から自由であることを数学的に示す。 言語モデリングタスクに関する大規模な実験は、複数のVAEタスクに対するDAAMの優位性を実証している。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• Variational Diffusion Auto-encoder: Latent Space Extraction from Pre-trained Diffusion Models [0.0]
  可変オートエンコーダ(VAE)は、生成された画像の品質の問題に直面し、しばしば目立った曖昧さを示す。 この問題は、条件付きデータ分布を近似する非現実的な仮定である $p(textbfx | textbfz)$ が等方ガウス的であることに由来する。 本稿では,エンコーダを最適化することにより,既存の拡散モデルから潜在空間を抽出し,限界データのログ化を最大化する方法について述べる。
  論文  参考訳（メタデータ） (2023-04-24T14:44:47Z)
• Entropy optimized semi-supervised decomposed vector-quantized variational autoencoder model based on transfer learning for multiclass text classification and generation [3.9318191265352196]
  多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。 提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。 実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
  論文  参考訳（メタデータ） (2021-11-10T07:07:54Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Generative Text Modeling through Short Run Inference [47.73892773331617]
  本研究は、推論のためのショートランダイナミックスを提案し、潜伏変数の以前の分布から変化し、後続分布によって導かれる少数のランゲヴィンダイナミックスステップを実行する。 短絡力学で訓練されたモデルは、強い言語モデルやVAEベースラインと比較して、より正確にデータをモデル化し、後方崩壊の兆候は示さない。
  論文  参考訳（メタデータ） (2021-05-27T09:14:35Z)
• Improving Variational Autoencoder for Text Modelling with Timestep-Wise Regularisation [18.296350505386997]
  変分オートエンコーダ(VAE)は、テキストモデリングに適用された、多種多様な文を生成する人気かつ強力なモデルである。 しかし、後部崩壊(またはKL損失消滅)と呼ばれる問題は、VAEがテキストモデリングで使用されるときに発生する。 本稿では,TWR-VAE(Timestep-Wise Regularisation VAE)と呼ばれるシンプルな汎用アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-11-02T17:20:56Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。