論文の概要: Entropy optimized semi-supervised decomposed vector-quantized
variational autoencoder model based on transfer learning for multiclass text
classification and generation
- arxiv url: http://arxiv.org/abs/2111.08453v1
- Date: Wed, 10 Nov 2021 07:07:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-21 14:52:46.668187
- Title: Entropy optimized semi-supervised decomposed vector-quantized
variational autoencoder model based on transfer learning for multiclass text
classification and generation
- Title（参考訳）: 多クラステキスト分類と生成のための転送学習に基づくエントロピー最適化半教師付きベクトル量子化変分オートエンコーダモデル
- Authors: Shivani Malhotra, Vinay Kumar and Alpana Agarwal
- Abstract要約: 多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。
提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。
実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
- 参考スコア（独自算出の注目度）: 3.9318191265352196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semisupervised text classification has become a major focus of research over
the past few years. Hitherto, most of the research has been based on supervised
learning, but its main drawback is the unavailability of labeled data samples
in practical applications. It is still a key challenge to train the deep
generative models and learn comprehensive representations without supervision.
Even though continuous latent variables are employed primarily in deep latent
variable models, discrete latent variables, with their enhanced
understandability and better compressed representations, are effectively used
by researchers. In this paper, we propose a semisupervised discrete latent
variable model for multi-class text classification and text generation. The
proposed model employs the concept of transfer learning for training a
quantized transformer model, which is able to learn competently using fewer
labeled instances. The model applies decomposed vector quantization technique
to overcome problems like posterior collapse and index collapse. Shannon
entropy is used for the decomposed sub-encoders, on which a variable
DropConnect is applied, to retain maximum information. Moreover, gradients of
the Loss function are adaptively modified during backpropagation from decoder
to encoder to enhance the performance of the model. Three conventional datasets
of diversified range have been used for validating the proposed model on a
variable number of labeled instances. Experimental results indicate that the
proposed model has surpassed the state-of-the-art models remarkably.
- Abstract（参考訳）: 半教師付きテキスト分類はここ数年、研究の主要な焦点となっている。
研究の大部分は教師付き学習に基づいているが、その主な欠点は、実践的な応用においてラベル付きデータサンプルが利用できないことである。
深い生成モデルを訓練し、監督なしで包括的な表現を学ぶことは依然として重要な課題である。
連続潜伏変数は主に深層潜伏変数モデルで使用されるが、離散潜伏変数は理解可能性の向上と圧縮表現の改善により、研究者によって効果的に使用される。
本稿では,マルチクラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。
提案モデルでは,ラベル付きインスタンスを少なくして有能な学習が可能な量子化トランスフォーマーモデルをトレーニングするために,転送学習という概念を採用している。
このモデルは分解ベクトル量子化手法を適用し、後方崩壊や指数崩壊のような問題を克服する。
シャノンエントロピーは分割されたサブエンコーダに使われ、可変DropConnectが適用され、最大情報を保持する。
さらに、損失関数の勾配はデコーダからエンコーダへのバックプロパゲーション中に適応的に修正され、モデルの性能が向上する。
ラベル付きインスタンスの変数数で提案したモデルの検証には,従来の3つの多様化範囲データセットが使用されている。
実験結果は,提案モデルが最先端モデルを著しく上回っていることを示している。
関連論文リスト
- Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。
本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
論文 参考訳（メタデータ） (2024-04-26T06:00:27Z) - Learning Active Subspaces and Discovering Important Features with Gaussian Radial Basis Functions Neural Networks [0.0]
モデルの訓練が完了すると抽出できる精度行列のスペクトルに含まれる貴重な情報を示す。
回帰,分類,特徴選択タスクの数値実験を行った。
その結果,提案モデルが競合モデルに比べて魅力的な予測性能が得られるだけでなく,予測性能も向上することが示唆された。
論文 参考訳（メタデータ） (2023-07-11T09:54:30Z) - Learning Sparse Latent Representations for Generator Model [7.467412443287767]
そこで本研究では,ジェネレータモデルの潜在空間に空間空間を強制する教師なし学習手法を提案する。
我々のモデルは1つのトップダウンジェネレータネットワークから成り、潜在変数を観測データにマッピングする。
論文 参考訳（メタデータ） (2022-09-20T18:58:24Z) - Bayesian Active Learning for Discrete Latent Variable Models [19.852463786440122]
アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を削減しようとする。
潜在変数モデルは神経科学、心理学、その他の様々な工学、科学分野において重要な役割を果たす。
論文 参考訳（メタデータ） (2022-02-27T19:07:12Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳（メタデータ） (2021-10-09T13:56:48Z) - Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。
情報不足と後部崩壊という2つの課題に悩まされている。
本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
論文 参考訳（メタデータ） (2021-06-16T06:36:26Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [55.28436972267793]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z) - Deducing neighborhoods of classes from a fitted model [68.8204255655161]
本稿では,新しいタイプの解釈可能な機械学習手法を提案する。
量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。
基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
論文 参考訳（メタデータ） (2020-09-11T16:35:53Z) - Relaxed-Responsibility Hierarchical Discrete VAEs [3.976291254896486]
textitRelaxed-Responsibility Vector-Quantisationを導入する。
我々は、様々な標準データセットに対して、最先端のビット/ディミット結果を得る。
論文 参考訳（メタデータ） (2020-07-14T19:10:05Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳（メタデータ） (2020-04-22T14:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。