論文の概要: Graph-Induced Syntactic-Semantic Spaces in Transformer-Based Variational AutoEncoders

• arxiv url: http://arxiv.org/abs/2311.08579v1
• Date: Tue, 14 Nov 2023 22:47:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 18:06:31.140950
• Title: Graph-Induced Syntactic-Semantic Spaces in Transformer-Based Variational AutoEncoders
• Title（参考訳）: 変圧器に基づく変分オートエンコーダにおけるグラフ誘起構文意味空間
• Authors: Yingji Zhang, Marco Valentino, Danilo S. Carvalho, Ian Pratt-Hartmann, Andr\'e Freitas
• Abstract要約: 本稿では,トランスフォーマーを用いたVAEにおける構造構文注入のための潜時空間分離法について検討する。 具体的には、グラフベースおよびシーケンシャルモデルの統合により、符号化段階で構文構造をどのように活用するかを検討する。 我々の経験的評価は、自然言語文と数学的表現に基づいて行われ、提案したエンドツーエンドのVAEアーキテクチャにより、潜在空間の全体構造がより良くなることを示している。
• 参考スコア（独自算出の注目度）: 5.037881619912574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The injection of syntactic information in Variational AutoEncoders (VAEs) has been shown to result in an overall improvement of performances and generalisation. An effective strategy to achieve such a goal is to separate the encoding of distributional semantic features and syntactic structures into heterogeneous latent spaces via multi-task learning or dual encoder architectures. However, existing works employing such techniques are limited to LSTM-based VAEs. In this paper, we investigate latent space separation methods for structural syntactic injection in Transformer-based VAE architectures (i.e., Optimus). Specifically, we explore how syntactic structures can be leveraged in the encoding stage through the integration of graph-based and sequential models, and how multiple, specialised latent representations can be injected into the decoder's attention mechanism via low-rank operators. Our empirical evaluation, carried out on natural language sentences and mathematical expressions, reveals that the proposed end-to-end VAE architecture can result in a better overall organisation of the latent space, alleviating the information loss occurring in standard VAE setups, resulting in enhanced performances on language modelling and downstream generation tasks.
• Abstract（参考訳）: 変分オートエンコーダ(VAE)における構文情報の注入は、性能と一般化の全体的な改善をもたらすことが示されている。 このような目的を達成するための効果的な戦略は、分散意味的特徴と構文構造の符号化をマルチタスク学習またはデュアルエンコーダアーキテクチャによって異種潜在空間に分離することである。 しかし、これらの技術を用いた既存の作業は、LSTMベースのVAEに限られている。 本稿では,Transformer-based VAEアーキテクチャ(Optimus)における構造構文注入のための潜時空間分離法について検討する。 具体的には、グラフベースおよびシーケンシャルモデルの統合により、符号化段階で構文構造をどのように活用するか、低ランク演算子を介してデコーダの注意機構に複数の特殊化潜在表現を注入するかを検討する。 自然言語文と数式を用いた経験的評価により,提案するエンドツーエンドのvaeアーキテクチャにより,潜在空間全体の構造が向上し,標準vae設定で発生する情報損失が軽減され,言語モデリングや下流生成タスクのパフォーマンス向上が期待できることを明らかにした。

関連論文リスト

• Inducing Systematicity in Transformers by Attending to Structurally Quantized Embeddings [60.698130703909804]
  トランスフォーマーは、複雑なデータセットでトレーニングされた後、構造と実体の新規な構成に一般化する。 本稿では,SQ-Transformerを提案する。 SQ-Transformerは,複数の低複雑さ意味解析および機械翻訳データセット上で,バニラ変換器よりも強い構成一般化を実現することを示す。
  論文  参考訳（メタデータ） (2024-02-09T15:53:15Z)
• Interpretable Spectral Variational AutoEncoder (ISVAE) for time series clustering [48.0650332513417]
  可変オートエンコーダ(VAE)の出力にフィルタバンク(FB)の解釈可能なボトルネックを組み込んだ新しいモデルを導入する。 このアレンジメントは、入力信号の最も情報性の高いセグメントに参加するためにVAEを補完する。 VAEをこのFBに故意に拘束することにより、識別可能で分離可能で次元が縮小した符号化の開発を促進する。
  論文  参考訳（メタデータ） (2023-10-18T13:06:05Z)
• An Integral Projection-based Semantic Autoencoder for Zero-Shot Learning [0.46644955105516456]
  ゼロショット学習(ZSL)分類は、トレーニングセットに含まれないクラス(ラベル)を分類または予測する(見えないクラス)。 近年の研究では、エンコーダが視覚的特徴空間をセマンティック空間に埋め込み、デコーダが元の視覚的特徴空間を再構成する、異なる意味的オートエンコーダ(SAE)モデルが提案されている。 本稿では,意味空間でベクトル化された視覚的特徴空間を潜在表現空間に投影する統合投影型セマンティックオートエンコーダ(IP-SAE)を提案する。
  論文  参考訳（メタデータ） (2023-06-26T12:06:20Z)
• Interpretable Sentence Representation with Variational Autoencoders and Attention [0.685316573653194]
  自然言語処理(NLP)における近年の表現学習技術の解釈可能性を高める手法を開発した。 変動オートエンコーダ (VAEs) は, 遅延生成因子の観測に有効である。 帰納的バイアスを持つ2つのモデルを構築し、潜在表現の情報を注釈付きデータなしで理解可能な概念に分離する。
  論文  参考訳（メタデータ） (2023-05-04T13:16:15Z)
• Hierarchical Sketch Induction for Paraphrase Generation [79.87892048285819]
  本稿では、高密度符号化の分解を学習するHRQ-VAE(Hierarchical Refinement Quantized Variational Autoencoders)を紹介する。 HRQ-VAEを用いて、入力文の構文形式を階層化の経路としてエンコードすることで、テスト時の構文スケッチをより容易に予測できる。
  論文  参考訳（メタデータ） (2022-03-07T15:28:36Z)
• Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
  Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。 また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-01T17:22:31Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning [74.76431541169342]
  ゼロショット学習(ZSL)は、目に見えないクラス認識の問題に取り組み、目に見えないクラスから目に見えないクラスに意味的な知識を移す。 本稿では,意味領域と視覚領域を協調させる新しい階層型意味視覚適応(HSVA)フレームワークを提案する。 4つのベンチマークデータセットの実験では、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-30T14:27:50Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。