Fugu-MT 論文翻訳(概要): FLiText: A Faster and Lighter Semi-Supervised Text Classification with Convolution Networks

論文の概要: FLiText: A Faster and Lighter Semi-Supervised Text Classification with Convolution Networks

arxiv url: http://arxiv.org/abs/2110.11869v1
Date: Sun, 12 Sep 2021 09:05:35 GMT
ステータス: 処理完了
システム内更新日: 2023-03-15 07:19:01.199899
Title: FLiText: A Faster and Lighter Semi-Supervised Text Classification with Convolution Networks
Title（参考訳）: FLiText: 畳み込みネットワークによる高速で軽量な半スーパービジョンテキスト分類
Authors: Chen Liu, Mengchao Zhang, Zhibin Fu, Pan Hou, Yu Li
Abstract要約: 本研究では、FLiTextと呼ばれる新しいSSLフレームワークを開発する。 TextCNNの既存のSOTA SSLメソッドと比較して、FLiTextは軽量モデルのTextCNNの精度を向上させる。
参考スコア（独自算出の注目度）: 13.324127795471195
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In natural language processing (NLP), state-of-the-art (SOTA) semi-supervised learning (SSL) frameworks have shown great performance on deep pre-trained language models such as BERT, and are expected to significantly reduce the demand for manual labeling. However, our empirical studies indicate that these frameworks are not suitable for lightweight models such as TextCNN, LSTM and etc. In this work, we develop a new SSL framework called FLiText, which stands for Faster and Lighter semi-supervised Text classification. FLiText introduces an inspirer network together with the consistency regularization framework, which leverages a generalized regular constraint on the lightweight models for efficient SSL. As a result, FLiText obtains new SOTA performance for lightweight models across multiple SSL benchmarks on text classification. Compared with existing SOTA SSL methods on TextCNN, FLiText improves the accuracy of lightweight model TextCNN from 51.00% to 90.49% on IMDb, 39.8% to 58.06% on Yelp-5, and from 55.3% to 65.08% on Yahoo. In addition, compared with the fully supervised method on the full dataset, FLiText just uses less than 1% of labeled data to improve the accuracy by 6.59%, 3.94%, and 3.22% on the datasets of IMDb, Yelp-5, and Yahoo respectively.
Abstract（参考訳）: 自然言語処理(NLP)において、最先端の半教師付き学習(SOTA)フレームワークはBERTのような深層学習言語モデルにおいて優れた性能を示しており、手動ラベリングの需要を大幅に削減することが期待されている。しかし,これらのフレームワークは TextCNN や LSTM などの軽量モデルには適さないことを示す実証的研究を行った。本研究では,高速で軽量な半教師付きテキスト分類を表すflitextと呼ばれる新しいsslフレームワークを開発した。 FLiTextは、一貫性の規則化フレームワークとともにインスパイラネットワークを導入し、効率的なSSLのために軽量モデルの一般化された規則的制約を活用する。その結果、FLiTextはテキスト分類上の複数のSSLベンチマークにまたがる軽量モデルのための新しいSOTA性能を得た。 TextCNNの既存のSOTA SSLメソッドと比較して、FLiTextは軽量モデルのTextCNNの精度を、IMDbでは51.00%から90.49%、Yelp-5では39.8%から58.06%、Yahooでは55.3%から65.08%に改善した。さらに、フルデータセットの完全な教師付き方法と比較して、FLiTextはラベル付きデータの1%未満を使用して、それぞれIMDb、Yelp-5、Yahooの各データセットの精度を6.59%、3.94%、および3.22%改善している。

関連論文リスト

Reducing and Exploiting Data Augmentation Noise through Meta Reweighting Contrastive Learning for Text Classification [3.9889306957591755]
本稿では,テキスト分類タスクにおける拡張データ/サンプルを用いたディープラーニングモデルの性能向上のための新しいフレームワークを提案する。本稿では,拡張サンプルの重み/品質情報を効果的に活用するための,新しい重み依存型列列とデキューアルゴリズムを提案する。本フレームワークでは,テキストCNNエンコーダの平均1.6%,テキストCNNエンコーダの平均4.3%,RoBERTaベースエンコーダの平均1.4%,絶対改善の4.4%を実現している。
論文参考訳（メタデータ） (2024-09-26T02:19:13Z)
SignSpeak: Open-Source Time Series Classification for ASL Translation [0.12499537119440243]
本稿では,低コストでリアルタイムなASL-to-Speech翻訳グローブと手話パターンの学習データセットを提案する。このデータセットを、LSTM、GRU、Transformersなどの教師付き学習モデルでベンチマークし、最高のモデルが92%の精度を達成した。当社のオープンソースデータセット、モデル、グローブデザインは、コスト効率を維持しつつ、正確かつ効率的なASLトランスレータを提供する。
論文参考訳（メタデータ） (2024-06-27T17:58:54Z)
Data Augmentation for Text-based Person Retrieval Using Large Language Models [16.120524750964016]
テキストベースのPerson Retrieval (TPR)は、テキストクエリが与えられた記述と一致する人物画像の検索を目的としている。高価なアノテーションとプライバシー保護のため、大規模で高品質なTPRデータセットを構築するのは難しい。本稿では,TPRのためのLLM-DA法を提案する。
論文参考訳（メタデータ） (2024-05-20T11:57:50Z)
Adaptable and Reliable Text Classification using Large Language Models [7.962669028039958]
本稿では,Large Language Models(LLMs)を活用した適応的で信頼性の高いテキスト分類パラダイムを提案する。我々は、4つの多様なデータセット上で、複数のLLM、機械学習アルゴリズム、ニューラルネットワークベースのアーキテクチャの性能を評価した。システムの性能は、少数ショットや微調整の戦略によってさらに向上することができる。
論文参考訳（メタデータ） (2024-05-17T04:05:05Z)
Text Quality-Based Pruning for Efficient Training of Language Models [66.66259229732121]
本研究では,大容量NLPデータセットのテキスト品質を数値評価する手法を提案する。テキスト品質指標を提案することにより、低品質テキストインスタンスを識別・排除する枠組みを確立する。複数のモデルやデータセットに対する実験結果から,このアプローチの有効性が示された。
論文参考訳（メタデータ） (2024-04-26T18:01:25Z)
Improving Text Embeddings with Large Language Models [59.930513259982725]
合成データと1k以下のトレーニングステップのみを用いて,高品質なテキスト埋め込みを実現するための,新しい簡易な手法を提案する。我々は、93言語にまたがる数十万のテキスト埋め込みタスクのための多様な合成データを生成するために、プロプライエタリなLLMを活用している。実験により,ラベル付きデータを使わずに,高度に競争力のあるテキスト埋め込みベンチマークにおいて高い性能が得られることが示された。
論文参考訳（メタデータ） (2023-12-31T02:13:18Z)
Toward Real Text Manipulation Detection: New Dataset and New Solution [58.557504531896704]
プロフェッショナルなテキスト操作に関連する高コストは、現実世界のデータセットの可用性を制限する。本稿では,14,250枚のテキスト画像を含むリアルテキスト操作データセットを提案する。我々のコントリビューションは、実世界のテキスト改ざん検出の進歩を促進することを目的としている。
論文参考訳（メタデータ） (2023-12-12T02:10:16Z)
ChineseWebText: Large-scale High-quality Chinese Web Text Extracted with Effective Evaluation Model [40.23569361268597]
ノイズの多いWebデータから中国語のクリーンテキストを抽出するツールチェーンEvalWebを提案する。我々は,最大かつ最新の高品質な中国語Webテキストである ChineseWebText をリリースし,その内容は1.42TB で,各テキストは品質スコアに関連付けられている。
論文参考訳（メタデータ） (2023-11-02T11:13:51Z)
Cross-modality Data Augmentation for End-to-End Sign Language Translation [66.46877279084083]
エンドツーエンド手話翻訳(SLT)は、手話動画を中間表現なしで直接音声言語テキストに変換することを目的としている。署名ビデオとテキスト間のモダリティのギャップとラベル付きデータの不足のため、これは難しい課題だった。本稿では,強力な光沢からテキストへの翻訳機能をエンドツーエンドの手話翻訳に変換するための,新しいクロスモダリティデータ拡張(XmDA)フレームワークを提案する。
論文参考訳（メタデータ） (2023-05-18T16:34:18Z)
Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。 KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
論文参考訳（メタデータ） (2022-05-18T09:17:14Z)
MixText: Linguistically-Informed Interpolation of Hidden Space for Semi-Supervised Text Classification [68.15015032551214]
MixTextはテキスト分類のための半教師付き学習手法である。 TMixは、隠れた空間でテキストを補間することで、大量の拡張トレーニングサンプルを生成する。我々は、ラベルなしデータの低エントロピーラベルを推測するために、最近のデータ拡張の進歩を活用している。
論文参考訳（メタデータ） (2020-04-25T21:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。