論文の概要: Latent Space Energy-Based Model of Symbol-Vector Coupling for Text Generation and Classification

• arxiv url: http://arxiv.org/abs/2108.11556v1
• Date: Thu, 26 Aug 2021 02:31:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-27 13:56:01.241296
• Title: Latent Space Energy-Based Model of Symbol-Vector Coupling for Text Generation and Classification
• Title（参考訳）: テキスト生成と分類のための記号ベクトル結合の潜時空間エネルギーモデル
• Authors: Bo Pang, Ying Nian Wu
• Abstract要約: 本稿では,テキスト生成と分類のための遅延空間エネルギーに基づく先行モデルを提案する。 モデルは、連続した潜伏ベクトルに基づいてテキストシーケンスを生成するジェネレータネットワークの上に立つ。 実験により,提案モデルが十分に構造化された有意義な潜在空間を学習できることが実証された。
• 参考スコア（独自算出の注目度）: 42.5461221309397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a latent space energy-based prior model for text generation and classification. The model stands on a generator network that generates the text sequence based on a continuous latent vector. The energy term of the prior model couples a continuous latent vector and a symbolic one-hot vector, so that discrete category can be inferred from the observed example based on the continuous latent vector. Such a latent space coupling naturally enables incorporation of information bottleneck regularization to encourage the continuous latent vector to extract information from the observed example that is informative of the underlying category. In our learning method, the symbol-vector coupling, the generator network and the inference network are learned jointly. Our model can be learned in an unsupervised setting where no category labels are provided. It can also be learned in semi-supervised setting where category labels are provided for a subset of training examples. Our experiments demonstrate that the proposed model learns well-structured and meaningful latent space, which (1) guides the generator to generate text with high quality, diversity, and interpretability, and (2) effectively classifies text.
• Abstract（参考訳）: テキスト生成と分類のための遅延空間エネルギーに基づく先行モデルを提案する。 このモデルは連続潜在ベクトルに基づいてテキストシーケンスを生成するジェネレータネットワーク上に立っている。 先行モデルのエネルギー項は連続的潜在ベクトルとシンボリックな1ホットベクトルを結合するので、離散圏は連続的潜在ベクトルに基づいて観測された例から推測することができる。 このような潜在空間結合は、自然に情報ボトルネックの正規化を組み込むことを可能にし、連続的潜在ベクトルを基礎となるカテゴリに関する情報である観測例から情報を抽出するように促す。 本手法では,シンボルベクトル結合,ジェネレータネットワーク,推論ネットワークを共同で学習する。 私たちのモデルは、カテゴリラベルが提供されない教師なしの設定で学習できます。 カテゴリラベルがトレーニング例のサブセットとして提供される半教師付き設定でも学習することができる。 提案手法は,(1)高品位,多様性,解釈性を有するテキスト生成をジェネレータに指導し,(2)テキストを効果的に分類する,構造的かつ有意義な潜在空間を学習することを示す。

関連論文リスト

• Local Topology Measures of Contextual Language Model Latent Spaces With Applications to Dialogue Term Extraction [4.887047578768969]
  本稿では,文脈言語モデルの潜在空間の局所位相の複雑性尺度を導入する。 我々の研究は、単語埋め込みの多様体仮説を探求する一連の研究を継続している。
  論文  参考訳（メタデータ） (2024-08-07T11:44:32Z)
• InstaGen: Enhancing Object Detection by Training on Synthetic Dataset [59.445498550159755]
  本稿では,オブジェクト検出機能の向上,例えばカテゴリ拡大や検出性能の向上など,新たなパラダイムを提案する。 我々は、インスタンスレベルのグラウンドヘッドを事前訓練された生成拡散モデルに統合し、生成された画像のインスタンスをローカライズする機能で拡張する。 我々は、InstaGenと呼ばれる拡散モデルの強化版がデータシンセサイザーとして機能することを示すために、徹底的な実験を行う。
  論文  参考訳（メタデータ） (2024-02-08T18:59:53Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• TAX: Tendency-and-Assignment Explainer for Semantic Segmentation with Multi-Annotators [31.36818611460614]
  Tendency-and-Assignment Explainer (TAX) はアノテータと割り当てレベルで解釈性を提供するように設計されている。 我々のTAXは、同等の性能を持つ最先端のネットワークアーキテクチャに適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-02-19T12:40:22Z)
• Learning Cluster Patterns for Abstractive Summarization [0.0]
  そこで我々は,デコーダがより有意な文脈ベクトルに参加できるような,有意なコンテキストベクトルと非有意なコンテキストベクトルの2つのクラスタについて考察する。 実験結果から,提案モデルは,これらの異なるクラスタパターンを学習することにより,既存のBARTモデルよりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2022-02-22T15:15:24Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)
• Semi-supervised Learning by Latent Space Energy-Based Model of Symbol-Vector Coupling [55.866810975092115]
  半教師付き学習のための潜在宇宙エネルギーに基づく事前モデルを提案する。 本手法は,半教師付き学習タスクにおいてよく機能することを示す。
  論文  参考訳（メタデータ） (2020-10-19T09:55:14Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)
• Background Knowledge Injection for Interpretable Sequence Classification [13.074542699823933]
  本稿では,予測能力と解釈可能性のバランスをとる新しいシーケンス学習アルゴリズムを提案する。 我々は、単語やグラフの埋め込みによって注入された背景知識によって生成されるシンボル群を用いて、古典的なサブシーケンス特徴空間を拡張した。 また,シンボル埋め込みに基づく記号特徴集合の解釈可能性を評価するための新しい尺度を提案する。
  論文  参考訳（メタデータ） (2020-06-25T08:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。