論文の概要: Improving Semantic Control in Discrete Latent Spaces with Transformer Quantized Variational Autoencoders

• arxiv url: http://arxiv.org/abs/2402.00723v1
• Date: Thu, 1 Feb 2024 16:14:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 14:36:34.703987
• Title: Improving Semantic Control in Discrete Latent Spaces with Transformer Quantized Variational Autoencoders
• Title（参考訳）: 変圧器量子化変分オートエンコーダを用いた離散遅延空間における意味制御の改善
• Authors: Yingji Zhang, Danilo S. Carvalho, Marco Valentino, Ian Pratt-Hartmann, Andre Freitas
• Abstract要約: ベクトル量子化変分オートエンコーダ(VQVAE)の離散潜在空間を解析し,トランスフォーマーを用いたVAEのセマンティック制御と生成を改善する。 本稿では,トークンレベルでの自己保持機構を導くために,VQVAEの制御性を利用した新しいモデルT5VQVAEを提案する。 実験の結果、T5VQVAEはOptimusを含む既存の最先端のVAEモデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 5.037881619912574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Achieving precise semantic control over the latent spaces of Variational AutoEncoders (VAEs) holds significant value for downstream tasks in NLP as the underlying generative mechanisms could be better localised, explained and improved upon. Recent research, however, has struggled to achieve consistent results, primarily due to the inevitable loss of semantic information in the variational bottleneck and limited control over the decoding mechanism. To overcome these challenges, we investigate discrete latent spaces in Vector Quantized Variational AutoEncoders (VQVAEs) to improve semantic control and generation in Transformer-based VAEs. In particular, We propose T5VQVAE, a novel model that leverages the controllability of VQVAEs to guide the self-attention mechanism in T5 at the token-level, exploiting its full generalization capabilities. Experimental results indicate that T5VQVAE outperforms existing state-of-the-art VAE models, including Optimus, in terms of controllability and preservation of semantic information across different tasks such as auto-encoding of sentences and mathematical expressions, text transfer, and inference. Moreover, T5VQVAE exhibits improved inference capabilities, suggesting potential applications for downstream natural language and symbolic reasoning tasks.
• Abstract（参考訳）: 変分オートエンコーダ(VAEs)の潜伏空間における正確な意味制御は、基礎となる生成機構がより局所化され、説明され、改善されるため、NLPの下流タスクにとって重要な価値を持つ。 しかし、最近の研究は、主に変動ボトルネックにおける意味情報の避けられない損失と復号機構の限定的な制御のために、一貫した結果を達成するのに苦労している。 これらの課題を克服するために,ベクトル量子化変分オートエンコーダ(VQVAE)の離散潜在空間を調査し,トランスフォーマーベースのVAEのセマンティック制御と生成を改善する。 特に, vqvaes の制御性を活用してトークンレベルで t5 の自己アテンション機構を導く新しいモデルである t5vqvae を提案する。 実験結果から,T5VQVAEは,テキストの自動エンコーディングや数式,テキスト転送,推論など,さまざまなタスクにおけるセマンティック情報の制御性や保存性の観点から,Optimusを含む既存のVAEモデルよりも優れていた。 さらに、T5VQVAEは推論能力の向上を示し、下流自然言語やシンボリック推論タスクの潜在的な応用を示唆している。

関連論文リスト

• Dynamic Context Adaptation and Information Flow Control in Transformers: Introducing the Evaluator Adjuster Unit and Gated Residual Connections [0.0]
  本稿では,トランスアーキテクチャの2つの重要な拡張を紹介する。 Evaluator Unit (EAU) と Gated Residual Connections (GRC) はこれらの制限に対処するために設計されている。 自然言語処理におけるこれらの拡張性能を,いくつかのベンチマークで評価した。
  論文  参考訳（メタデータ） (2024-05-22T07:33:24Z)
• Exploring Latent Pathways: Enhancing the Interpretability of Autonomous Driving with a Variational Autoencoder [79.70947339175572]
  バイオインスパイアされたニューラルサーキットポリシーモデルが革新的な制御モジュールとして登場した。 我々は、変分オートエンコーダとニューラルネットワークポリシーコントローラを統合することで、飛躍的に前進する。 本研究は,変分オートエンコーダへのアーキテクチャシフトに加えて,自動潜時摂動ツールを導入する。
  論文  参考訳（メタデータ） (2024-04-02T09:05:47Z)
• Graph-Induced Syntactic-Semantic Spaces in Transformer-Based Variational AutoEncoders [5.037881619912574]
  本稿では,トランスフォーマーを用いたVAEにおける構造構文注入のための潜時空間分離法について検討する。 具体的には、グラフベースおよびシーケンシャルモデルの統合により、符号化段階で構文構造をどのように活用するかを検討する。 我々の経験的評価は、自然言語文と数学的表現に基づいて行われ、提案したエンドツーエンドのVAEアーキテクチャにより、潜在空間の全体構造がより良くなることを示している。
  論文  参考訳（メタデータ） (2023-11-14T22:47:23Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation [85.5379146125199]
  変分自動エンコーダ(VAE)はテキスト生成において広く採用されている。 本稿ではトランスフォーマーをベースとしたリカレントVAE構造であるTRACEを提案する。
  論文  参考訳（メタデータ） (2022-10-22T10:25:35Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
  変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。 情報不足と後部崩壊という2つの課題に悩まされている。 本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
  論文  参考訳（メタデータ） (2021-06-16T06:36:26Z)
• Variational Autoencoder-Based Vehicle Trajectory Prediction with an Interpretable Latent Space [0.0]
  本稿では,車両軌道予測のための教師なし・エンドツーエンドの学習可能なニューラルネットワークであるdescriptive variational autoencoder (dvae)について述べる。 提案モデルは同様の予測精度を提供するが、解釈可能な潜在空間を持つことの利点がある。
  論文  参考訳（メタデータ） (2021-03-25T10:15:53Z)
• Transformer-based Conditional Variational Autoencoder for Controllable Story Generation [39.577220559911055]
  ニューラルストーリー生成のための大規模潜時変数モデル (LVM) を, 生成効率と制御性という2つのスレッドで検討した。 我々は、トランスフォーマーの時代において、本質的に表現学習の力である潜在変数モデリングを復活させることを提唱する。 具体的には,遅延表現ベクトルをTransformerベースの事前学習アーキテクチャと統合し,条件付き変分オートエンコーダ(CVAE)を構築する。
  論文  参考訳（メタデータ） (2021-01-04T08:31:11Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。