論文の概要: Disentangling Generative Factors in Natural Language with Discrete Variational Autoencoders

• arxiv url: http://arxiv.org/abs/2109.07169v1
• Date: Wed, 15 Sep 2021 09:10:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-16 23:24:40.527977
• Title: Disentangling Generative Factors in Natural Language with Discrete Variational Autoencoders
• Title（参考訳）: 離散変分オートエンコーダを用いた自然言語生成因子の分散化
• Authors: Giangiacomo Mercatali, Andr\'e Freitas
• Abstract要約: 連続変数は、テキスト中のほとんどの生成因子が離散的であるという事実から、テキストデータの特徴をモデル化するのに理想的ではないかもしれない。 本稿では,言語特徴を離散変数としてモデル化し,不整合表現を学習するための変数間の独立性を促進する変分自動符号化手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability of learning disentangled representations represents a major step for interpretable NLP systems as it allows latent linguistic features to be controlled. Most approaches to disentanglement rely on continuous variables, both for images and text. We argue that despite being suitable for image datasets, continuous variables may not be ideal to model features of textual data, due to the fact that most generative factors in text are discrete. We propose a Variational Autoencoder based method which models language features as discrete variables and encourages independence between variables for learning disentangled representations. The proposed model outperforms continuous and discrete baselines on several qualitative and quantitative benchmarks for disentanglement as well as on a text style transfer downstream application.
• Abstract（参考訳）: 不整合表現を学習する能力は、潜在言語的特徴の制御を可能にするため、NLPシステムを解釈するための大きなステップである。 分離に対するほとんどのアプローチは、画像とテキストの両方の連続変数に依存している。 我々は、画像データセットに適しているにもかかわらず、連続変数はテキストデータの特徴をモデル化するのに理想的ではないかもしれないと主張する。 本稿では,言語特徴を離散変数としてモデル化し,変数間の独立性を促進できる変分自動符号化手法を提案する。 提案モデルは,テキストスタイル転送下流アプリケーションと同様に,複数の質的,定量的指標において,連続的および離散的なベースラインを上回っている。

関連論文リスト

• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Learning Semantic Textual Similarity via Topic-informed Discrete Latent Variables [17.57873577962635]
  我々は、意味的テキスト類似性のためのトピックインフォームド離散潜在変数モデルを開発した。 我々のモデルはベクトル量子化による文対表現のための共有潜在空間を学習する。 我々のモデルは意味的テキスト類似性タスクにおいて、いくつかの強力な神経ベースラインを超えることができることを示す。
  論文  参考訳（メタデータ） (2022-11-07T15:09:58Z)
• Learning Disentangled Representations for Natural Language Definitions [0.0]
  テキストデータの連続的な構文的・意味的規則性は、構造的バイアスと生成的要因の両方をモデルに提供するのに有効である、と我々は主張する。 本研究では,文型,定義文の表現的・意味的に密接なカテゴリに存在する意味的構造を利用して,不整合表現を学習するための変分オートエンコーダを訓練する。
  論文  参考訳（メタデータ） (2022-09-22T14:31:55Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
  本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。 提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。 我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
  論文  参考訳（メタデータ） (2021-11-25T17:33:12Z)
• Discrete Latent Variable Representations for Low-Resource Text Classification [47.936293924113855]
  テキストに対する離散潜在変数モデルを学習するためのアプローチを検討する。 低リソース文書と文分類のための特徴として,学習した表現の性能を比較した。 ハードEMの償却版は、特に低リソース状態においてよく機能する。
  論文  参考訳（メタデータ） (2020-06-11T06:55:13Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。