論文の概要: Entropy optimized semi-supervised decomposed vector-quantized
variational autoencoder model based on transfer learning for multiclass text
classification and generation
- arxiv url: http://arxiv.org/abs/2111.08453v1
- Date: Wed, 10 Nov 2021 07:07:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-21 14:52:46.668187
- Title: Entropy optimized semi-supervised decomposed vector-quantized
variational autoencoder model based on transfer learning for multiclass text
classification and generation
- Title(参考訳): 多クラステキスト分類と生成のための転送学習に基づくエントロピー最適化半教師付きベクトル量子化変分オートエンコーダモデル
- Authors: Shivani Malhotra, Vinay Kumar and Alpana Agarwal
- Abstract要約: 多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。
提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。
実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
- 参考スコア(独自算出の注目度): 3.9318191265352196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semisupervised text classification has become a major focus of research over
the past few years. Hitherto, most of the research has been based on supervised
learning, but its main drawback is the unavailability of labeled data samples
in practical applications. It is still a key challenge to train the deep
generative models and learn comprehensive representations without supervision.
Even though continuous latent variables are employed primarily in deep latent
variable models, discrete latent variables, with their enhanced
understandability and better compressed representations, are effectively used
by researchers. In this paper, we propose a semisupervised discrete latent
variable model for multi-class text classification and text generation. The
proposed model employs the concept of transfer learning for training a
quantized transformer model, which is able to learn competently using fewer
labeled instances. The model applies decomposed vector quantization technique
to overcome problems like posterior collapse and index collapse. Shannon
entropy is used for the decomposed sub-encoders, on which a variable
DropConnect is applied, to retain maximum information. Moreover, gradients of
the Loss function are adaptively modified during backpropagation from decoder
to encoder to enhance the performance of the model. Three conventional datasets
of diversified range have been used for validating the proposed model on a
variable number of labeled instances. Experimental results indicate that the
proposed model has surpassed the state-of-the-art models remarkably.
- Abstract(参考訳): 半教師付きテキスト分類はここ数年、研究の主要な焦点となっている。
研究の大部分は教師付き学習に基づいているが、その主な欠点は、実践的な応用においてラベル付きデータサンプルが利用できないことである。
深い生成モデルを訓練し、監督なしで包括的な表現を学ぶことは依然として重要な課題である。
連続潜伏変数は主に深層潜伏変数モデルで使用されるが、離散潜伏変数は理解可能性の向上と圧縮表現の改善により、研究者によって効果的に使用される。
本稿では,マルチクラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。
提案モデルでは,ラベル付きインスタンスを少なくして有能な学習が可能な量子化トランスフォーマーモデルをトレーニングするために,転送学習という概念を採用している。
このモデルは分解ベクトル量子化手法を適用し、後方崩壊や指数崩壊のような問題を克服する。
シャノンエントロピーは分割されたサブエンコーダに使われ、可変DropConnectが適用され、最大情報を保持する。
さらに、損失関数の勾配はデコーダからエンコーダへのバックプロパゲーション中に適応的に修正され、モデルの性能が向上する。
ラベル付きインスタンスの変数数で提案したモデルの検証には,従来の3つの多様化範囲データセットが使用されている。
実験結果は,提案モデルが最先端モデルを著しく上回っていることを示している。
関連論文リスト
- Learning Active Subspaces and Discovering Important Features with
Gaussian Radial Basis Functions Neural Networks [1.7403133838762443]
モデルの訓練が完了すると抽出できる精度行列のスペクトルに含まれる貴重な情報を示す。
同時に固有ベクトルは入力と潜伏変数の絶対的な変動の観点から関係を強調する。
本結果は,提案モデルが競合相手に対して魅力的な予測性能を与えるだけでなく,有意義かつ解釈可能な結果をもたらすことを示す。
論文 参考訳(メタデータ) (2023-07-11T09:54:30Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳(メタデータ) (2023-05-28T06:30:29Z) - Learning Sparse Latent Representations for Generator Model [7.467412443287767]
そこで本研究では,ジェネレータモデルの潜在空間に空間空間を強制する教師なし学習手法を提案する。
我々のモデルは1つのトップダウンジェネレータネットワークから成り、潜在変数を観測データにマッピングする。
論文 参考訳(メタデータ) (2022-09-20T18:58:24Z) - Bayesian Active Learning for Discrete Latent Variable Models [19.852463786440122]
アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を削減しようとする。
潜在変数モデルは神経科学、心理学、その他の様々な工学、科学分野において重要な役割を果たす。
論文 参考訳(メタデータ) (2022-02-27T19:07:12Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳(メタデータ) (2021-10-09T13:56:48Z) - Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。
情報不足と後部崩壊という2つの課題に悩まされている。
本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
論文 参考訳(メタデータ) (2021-06-16T06:36:26Z) - Deducing neighborhoods of classes from a fitted model [68.8204255655161]
本稿では,新しいタイプの解釈可能な機械学習手法を提案する。
量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。
基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
論文 参考訳(メタデータ) (2020-09-11T16:35:53Z) - Relaxed-Responsibility Hierarchical Discrete VAEs [3.976291254896486]
textitRelaxed-Responsibility Vector-Quantisationを導入する。
我々は、様々な標準データセットに対して、最先端のビット/ディミット結果を得る。
論文 参考訳(メタデータ) (2020-07-14T19:10:05Z) - Robust Training of Vector Quantized Bottleneck Models [21.540133031071438]
ベクトル量子変分自動エンコーダモデル(VQ-VAEs)を用いた離散表現の信頼性と効率的な訓練法を示す。
教師なし表現学習では、変分オートエンコーダ(VAE)のような連続潜伏変数モデルの代替となる。
論文 参考訳(メタデータ) (2020-05-18T08:23:41Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2020-04-22T14:41:37Z) - Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。
我々は,再建基準の代替として,異常スコアの代替尺度を提案した。
提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2020-03-24T08:26:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。