論文の概要: Challenging the Semi-Supervised VAE Framework for Text Classification

• arxiv url: http://arxiv.org/abs/2109.12969v1
• Date: Mon, 27 Sep 2021 11:46:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-28 15:54:25.214827
• Title: Challenging the Semi-Supervised VAE Framework for Text Classification
• Title（参考訳）: テキスト分類のための半監督型VAEフレームワークの整合化
• Authors: Ghazi Felhi, Joseph Le Roux, Djam\'e Seddah
• Abstract要約: SSVAE(Semi-Supervised Variational Autoencoders)は、データ効率向上のためのモデルである。 テキスト分類作業において,SSVAEを単純化する。 実験では、同等の分類スコアを維持しながら、26%のスピードアップを示した。
• 参考スコア（独自算出の注目度）: 1.8907108368038217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-Supervised Variational Autoencoders (SSVAEs) are widely used models for data efficient learning. In this paper, we question the adequacy of the standard design of sequence SSVAEs for the task of text classification as we exhibit two sources of overcomplexity for which we provide simplifications. These simplifications to SSVAEs preserve their theoretical soundness while providing a number of practical advantages in the semi-supervised setup where the result of training is a text classifier. These simplifications are the removal of (i) the Kullback-Liebler divergence from its objective and (ii) the fully unobserved latent variable from its probabilistic model. These changes relieve users from choosing a prior for their latent variables, make the model smaller and faster, and allow for a better flow of information into the latent variables. We compare the simplified versions to standard SSVAEs on 4 text classification tasks. On top of the above-mentioned simplification, experiments show a speed-up of 26%, while keeping equivalent classification scores. The code to reproduce our experiments is public.
• Abstract（参考訳）: SSVAE(Semi-Supervised Variational Autoencoders)は、データ効率向上のためのモデルである。 本稿では,テキスト分類作業におけるシーケンスssvaの標準設計の妥当性について疑問視する。 これらのssvaesへの単純化は理論的な健全さを保ちつつ、訓練の結果がテキスト分類器である半教師構成において多くの実用的な利点を提供する。 これらの単純化は除去である (i)クルバック・リーブラーが目的から逸脱すること、及び (ii)確率モデルから完全に観測されていない潜在変数。 これらの変更により、ユーザは潜在変数の事前選択が不要になり、モデルをより小さく、より高速にし、潜在変数への情報の流れが改善される。 4つのテキスト分類タスクにおいて,簡易版と標準SSVAEを比較した。 上記の単純化に加えて、実験は同等の分類スコアを維持しながら26%のスピードアップを示した。 実験を再現するコードは公開されています。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Interpretable Sentence Representation with Variational Autoencoders and Attention [0.685316573653194]
  自然言語処理(NLP)における近年の表現学習技術の解釈可能性を高める手法を開発した。 変動オートエンコーダ (VAEs) は, 遅延生成因子の観測に有効である。 帰納的バイアスを持つ2つのモデルを構築し、潜在表現の情報を注釈付きデータなしで理解可能な概念に分離する。
  論文  参考訳（メタデータ） (2023-05-04T13:16:15Z)
• Augmentation Matters: A Simple-yet-Effective Approach to Semi-supervised Semantic Segmentation [46.441263436298996]
  本稿では,SSSの性能向上を目的としたデータ摂動に着目した,シンプルでクリーンなアプローチを提案する。 我々は、ランダムなデータ変換数を選択する、簡易なインテンシティベースの拡張を採用する。 また,ラベル付き情報をランダムに注入して,ラベルなしサンプルを適応的に増強する。
  論文  参考訳（メタデータ） (2022-12-09T16:36:52Z)
• Sibylvariant Transformations for Robust Text Classification [41.85750707462483]
  本稿では,ラベル保存制約を緩和するより広範な変換の集合を記述するために,シビル分散(SIB)の概念を提案する。 私たちは2種類のSIBを含むすべてのデータ変換を組織化する統一されたフレームワークを提供しています。 SIBは、最も混乱したクラスペアに対して新しい入力混合物を生成する、ユニークな適応トレーニングの形式を可能にする。
  論文  参考訳（メタデータ） (2022-05-10T19:38:54Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• ASSET: A Dataset for Tuning and Evaluation of Sentence Simplification Models with Multiple Rewriting Transformations [97.27005783856285]
  本稿では,英語で文の単純化を評価するための新しいデータセットであるASSETを紹介する。 ASSETの単純化は、タスクの他の標準評価データセットと比較して、単純さの特徴を捉えるのに優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-01T16:44:54Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Variational auto-encoders with Student's t-prior [0.0]
  本稿では,従来の変分自動エンコーダ(VAE)のための新しい構造を提案する。 すべての分散パラメータはトレーニングされ、基礎となるデータ分布をより堅牢に近似することができる。
  論文  参考訳（メタデータ） (2020-04-06T11:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。