論文の概要: Exploiting Inductive Bias in Transformers for Unsupervised Disentanglement of Syntax and Semantics with VAEs

• arxiv url: http://arxiv.org/abs/2205.05943v1
• Date: Thu, 12 May 2022 08:21:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-13 12:29:04.913700
• Title: Exploiting Inductive Bias in Transformers for Unsupervised Disentanglement of Syntax and Semantics with VAEs
• Title（参考訳）: VAEを用いた非教師付き構文解析用変圧器における誘導バイアスの爆発
• Authors: Ghazi Felhi, Joseph Le Roux, Djam\'e Seddah
• Abstract要約: 本稿では,構文と意味論の非絡み合った潜在表現を示すテキスト生成のための生成モデルを提案する。 我々のモデルは、Transformersのような注意に基づくアーキテクチャで見られる帰納的バイアスにのみ依存する。
• 参考スコア（独自算出の注目度）: 0.9582466286528458
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose a generative model for text generation, which exhibits disentangled latent representations of syntax and semantics. Contrary to previous work, this model does not need syntactic information such as constituency parses, or semantic information such as paraphrase pairs. Our model relies solely on the inductive bias found in attention-based architectures such as Transformers. In the attention of Transformers, keys handle information selection while values specify what information is conveyed. Our model, dubbed QKVAE, uses Attention in its decoder to read latent variables where one latent variable infers keys while another infers values. We run experiments on latent representations and experiments on syntax/semantics transfer which show that QKVAE displays clear signs of disentangled syntax and semantics. We also show that our model displays competitive syntax transfer capabilities when compared to supervised models and that comparable supervised models need a fairly large amount of data (more than 50K samples) to outperform it on both syntactic and semantic transfer. The code for our experiments is publicly available.
• Abstract（参考訳）: 本稿では,テキスト生成のための生成モデルを提案する。 以前の研究とは対照的に、このモデルは選挙区解析のような構文情報やパラフレーズペアのような意味情報を必要としない。 我々のモデルは、Transformersのような注意に基づくアーキテクチャで見られる誘導バイアスにのみ依存する。 トランスフォーマーの注意では、キーが情報選択を処理し、値がどの情報を伝えるかを指定する。 我々のモデルはQKVAEと呼ばれ、1つの潜在変数がキーを推論し、別の変数が値を推論する遅延変数を読み取るために、アテンションをデコーダに使用しています。 遅延表現の実験と構文/意味伝達の実験を行い、QKVAEが不整合構文と意味論の明確な兆候を示すことを示した。 また,我々のモデルが教師付きモデルと比較した場合,構文伝達能力に競争力があることを示し,それと同等の教師付きモデルでは,構文変換と意味変換の両方において,かなり大量のデータ(50k以上のサンプル)を必要とすることを示した。 私たちの実験のコードは公開されています。

関連論文リスト

• Extracting Latent Steering Vectors from Pretrained Language Models [14.77762401765532]
  本研究では,言語モデルデコーダから直接潜在ベクトルを抽出できることを示す。 実験により、ステアリングベクトルが存在し、それが言語モデルの隠れ状態に追加されると、ほぼ完璧にターゲット文を生成することが示された。 テキスト類似度ベンチマークで評価すると, ステアリングベクトル間の距離が文類似度を反映していることが分かる。
  論文  参考訳（メタデータ） (2022-05-10T19:04:37Z)
• Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
  マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。 次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
  論文  参考訳（メタデータ） (2022-05-02T21:41:14Z)
• Entropy optimized semi-supervised decomposed vector-quantized variational autoencoder model based on transfer learning for multiclass text classification and generation [3.9318191265352196]
  多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。 提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。 実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
  論文  参考訳（メタデータ） (2021-11-10T07:07:54Z)
• Disentangling Generative Factors in Natural Language with Discrete Variational Autoencoders [0.0]
  連続変数は、テキスト中のほとんどの生成因子が離散的であるという事実から、テキストデータの特徴をモデル化するのに理想的ではないかもしれない。 本稿では,言語特徴を離散変数としてモデル化し,不整合表現を学習するための変数間の独立性を促進する変分自動符号化手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T09:10:05Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• Factorising Meaning and Form for Intent-Preserving Paraphrasing [59.13322531639124]
  本稿では,本来の意図を保ちつつ,異なる表面形状を用いる英語質問のパラフレーズを生成する手法を提案する。 我々のモデルは、訓練対象の慎重な選択と原則化された情報のボトルネックを組み合わせる。 従来の手法に比べて意味的保存と構文的ノベルティのトレードオフが良好であるパラフレーズを生成することができる。
  論文  参考訳（メタデータ） (2021-05-31T15:37:38Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)
• Switching Variational Auto-Encoders for Noise-Agnostic Audio-visual Speech Enhancement [26.596930749375474]
  本稿では,異なるVAEアーキテクチャを時間的に切り換えるために,マルコフの依存関係を持つ潜在逐次変数を導入する。 モデルのパラメータを推定し、音声信号を強化するために、対応する変動予測-最大化アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-02-08T11:45:02Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。