論文の概要: FLiText: A Faster and Lighter Semi-Supervised Text Classification with
Convolution Networks
- arxiv url: http://arxiv.org/abs/2110.11869v1
- Date: Sun, 12 Sep 2021 09:05:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-15 07:19:01.199899
- Title: FLiText: A Faster and Lighter Semi-Supervised Text Classification with
Convolution Networks
- Title(参考訳): FLiText: 畳み込みネットワークによる高速で軽量な半スーパービジョンテキスト分類
- Authors: Chen Liu, Mengchao Zhang, Zhibin Fu, Pan Hou, Yu Li
- Abstract要約: 本研究では、FLiTextと呼ばれる新しいSSLフレームワークを開発する。
TextCNNの既存のSOTA SSLメソッドと比較して、FLiTextは軽量モデルのTextCNNの精度を向上させる。
- 参考スコア(独自算出の注目度): 13.324127795471195
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In natural language processing (NLP), state-of-the-art (SOTA) semi-supervised
learning (SSL) frameworks have shown great performance on deep pre-trained
language models such as BERT, and are expected to significantly reduce the
demand for manual labeling. However, our empirical studies indicate that these
frameworks are not suitable for lightweight models such as TextCNN, LSTM and
etc. In this work, we develop a new SSL framework called FLiText, which stands
for Faster and Lighter semi-supervised Text classification. FLiText introduces
an inspirer network together with the consistency regularization framework,
which leverages a generalized regular constraint on the lightweight models for
efficient SSL. As a result, FLiText obtains new SOTA performance for
lightweight models across multiple SSL benchmarks on text classification.
Compared with existing SOTA SSL methods on TextCNN, FLiText improves the
accuracy of lightweight model TextCNN from 51.00% to 90.49% on IMDb, 39.8% to
58.06% on Yelp-5, and from 55.3% to 65.08% on Yahoo. In addition, compared with
the fully supervised method on the full dataset, FLiText just uses less than 1%
of labeled data to improve the accuracy by 6.59%, 3.94%, and 3.22% on the
datasets of IMDb, Yelp-5, and Yahoo respectively.
- Abstract(参考訳): 自然言語処理(NLP)において、最先端の半教師付き学習(SOTA)フレームワークはBERTのような深層学習言語モデルにおいて優れた性能を示しており、手動ラベリングの需要を大幅に削減することが期待されている。
しかし,これらのフレームワークは TextCNN や LSTM などの軽量モデルには適さないことを示す実証的研究を行った。
本研究では,高速で軽量な半教師付きテキスト分類を表すflitextと呼ばれる新しいsslフレームワークを開発した。
FLiTextは、一貫性の規則化フレームワークとともにインスパイラネットワークを導入し、効率的なSSLのために軽量モデルの一般化された規則的制約を活用する。
その結果、FLiTextはテキスト分類上の複数のSSLベンチマークにまたがる軽量モデルのための新しいSOTA性能を得た。
TextCNNの既存のSOTA SSLメソッドと比較して、FLiTextは軽量モデルのTextCNNの精度を、IMDbでは51.00%から90.49%、Yelp-5では39.8%から58.06%、Yahooでは55.3%から65.08%に改善した。
さらに、フルデータセットの完全な教師付き方法と比較して、FLiTextはラベル付きデータの1%未満を使用して、それぞれIMDb、Yelp-5、Yahooの各データセットの精度を6.59%、3.94%、および3.22%改善している。
関連論文リスト
- Improving Text Embeddings with Large Language Models [63.503320030117145]
合成データと1k以下のトレーニングステップのみを用いて,高品質なテキスト埋め込みを実現するための,新しい簡易な手法を提案する。
プロプライエタリなLLMを利用して、100近い言語にまたがる数十万のテキスト埋め込みタスクのための多様な合成データを生成します。
実験により,ラベル付きデータを使わずに,高度に競争力のあるテキスト埋め込みベンチマークにおいて高い性能が得られることが示された。
論文 参考訳(メタデータ) (2023-12-31T02:13:18Z) - Toward Real Text Manipulation Detection: New Dataset and New Solution [58.557504531896704]
プロフェッショナルなテキスト操作に関連する高コストは、現実世界のデータセットの可用性を制限する。
本稿では,14,250枚のテキスト画像を含むリアルテキスト操作データセットを提案する。
我々のコントリビューションは、実世界のテキスト改ざん検出の進歩を促進することを目的としている。
論文 参考訳(メタデータ) (2023-12-12T02:10:16Z) - Sparsify-then-Classify: From Internal Neurons of Large Language Models
To Efficient Text Classifiers [4.81502049551298]
本稿では,全ての活性化状態と隠蔽状態に複数のプーリング戦略を適用することで,すべての内部表現を利用する手法を提案する。
我々の新しい軽量戦略であるSparsify-then-Classify (STC) は、まずタスク固有の機能を階層ごとに分散し、次にテキスト分類のために階層に集約する。
モデルとデータセットの包括的集合に関する実験により、STCは事前訓練されたモデルと微調整されたモデルの分類性能を一貫して改善するだけでなく、トレーニングと推論の両方においてより効率的であり、本質的に解釈可能であることが示された。
論文 参考訳(メタデータ) (2023-11-27T16:28:20Z) - Speak Like a Native: Prompting Large Language Models in a Native Style [53.84738665918496]
In-context Learning (ICL) with large language model (LLMs) は、多くの自然言語処理タスクにおいて近代的なツールとなっている。
本稿では, LLMの推論能力を向上させるために, textbfAlignedCoT という新しい効果的手法を提案する。
数学的質問答え、常識的推論、テキスト理解に関するいくつかのベンチマークにおいて、広範囲かつ包括的な実験を行う。
論文 参考訳(メタデータ) (2023-11-22T17:24:21Z) - ChineseWebText: Large-scale High-quality Chinese Web Text Extracted with
Effective Evaluation Model [40.23569361268597]
ノイズの多いWebデータから中国語のクリーンテキストを抽出するツールチェーンEvalWebを提案する。
我々は,最大かつ最新の高品質な中国語Webテキストである ChineseWebText をリリースし,その内容は1.42TB で,各テキストは品質スコアに関連付けられている。
論文 参考訳(メタデータ) (2023-11-02T11:13:51Z) - Strategies for improving low resource speech to text translation relying
on pre-trained ASR models [59.90106959717875]
本稿では,テキスト翻訳(ST)における低音源音声の性能向上のための技術と知見について述べる。
本研究は,英語とポルトガル語,タマシェク語とフランス語の2つの言語対について,シミュレーションおよび実低資源設定について実験を行った。
論文 参考訳(メタデータ) (2023-05-31T21:58:07Z) - Mask-guided BERT for Few Shot Text Classification [12.361032727044547]
Mask-BERTは、BERTベースのアーキテクチャが数発の学習に対処するための、シンプルでモジュール化されたフレームワークである。
中心となる考え方は、テキスト入力にマスクを選択的に適用し、無関係な情報をフィルタリングすることであり、それはモデルを差別的トークンにフォーカスするよう誘導する。
パブリックドメインベンチマークデータセットの実験結果は、Mask-BERTの有効性を示す。
論文 参考訳(メタデータ) (2023-02-21T05:24:00Z) - Understanding BLOOM: An empirical study on diverse NLP tasks [3.884530687475798]
本稿では,様々な自然言語処理タスクにおいて,より小さなBLOOMモデル変種の評価を行う。
BLOOMは、すべてのGLUEタスク(WNLIを除く)、質問応答、テキスト生成で性能が低い。
WNLIでは56.3%の精度で、MIT MoviesやATISのデータセットでプロンプトベースの数発のテキスト抽出が可能である。
論文 参考訳(メタデータ) (2022-11-27T15:48:14Z) - Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。
KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。
本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
論文 参考訳(メタデータ) (2022-05-18T09:17:14Z) - Representation Learning for Short Text Clustering [9.896550179440544]
本稿では,クラスタリング性能を最適化するために,教師なしオートエンコーダ(AE)フレームワークを利用する2つの手法を提案する。
最初の方法であるStructure Text Network Graph Autoencoder (STN-GAE)では、テキストネットワークを構築してコーパス間の構造テキスト情報を利用して、グラフ畳み込みネットワークをエンコーダとして採用する。
ソフトクラスタ割り当てオートエンコーダ(SCA-AE)では、学習したテキスト表現をよりクラスタ化しやすいものにするために、オートエンコーダの潜在空間に追加のソフトクラスタ割り当て制約を適用する。
論文 参考訳(メタデータ) (2021-09-21T00:30:24Z) - MixText: Linguistically-Informed Interpolation of Hidden Space for
Semi-Supervised Text Classification [68.15015032551214]
MixTextはテキスト分類のための半教師付き学習手法である。
TMixは、隠れた空間でテキストを補間することで、大量の拡張トレーニングサンプルを生成する。
我々は、ラベルなしデータの低エントロピーラベルを推測するために、最近のデータ拡張の進歩を活用している。
論文 参考訳(メタデータ) (2020-04-25T21:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。