論文の概要: A multi-model-based deep learning framework for short text multiclass
classification with the imbalanced and extremely small data set
- arxiv url: http://arxiv.org/abs/2206.12027v1
- Date: Fri, 24 Jun 2022 00:51:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-27 12:30:48.283335
- Title: A multi-model-based deep learning framework for short text multiclass
classification with the imbalanced and extremely small data set
- Title（参考訳）: 不均衡・極小データセットを用いた短文多クラス分類のための多モデル深層学習フレームワーク
- Authors: Jiajun Tong, Zhixiao Wang, Xiaobin Rui
- Abstract要約: 本稿では,不均衡かつ極めて小さなデータセットを持つ短文マルチクラス分類のための,マルチモデルに基づくディープラーニングフレームワークを提案する。
精度、リコール、精度、F1スコアの点で最先端のベースライン性能を維持している。
- 参考スコア（独自算出の注目度）: 0.6875312133832077
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text classification plays an important role in many practical applications.
In the real world, there are extremely small datasets. Most existing methods
adopt pre-trained neural network models to handle this kind of dataset.
However, these methods are either difficult to deploy on mobile devices because
of their large output size or cannot fully extract the deep semantic
information between phrases and clauses. This paper proposes a multimodel-based
deep learning framework for short-text multiclass classification with an
imbalanced and extremely small data set. Our framework mainly includes five
layers: The encoder layer uses DISTILBERT to obtain context-sensitive dynamic
word vectors that are difficult to represent in traditional feature engineering
methods. Since the transformer part of this layer is distilled, our framework
is compressed. Then, we use the next two layers to extract deep semantic
information. The output of the encoder layer is sent to a bidirectional LSTM
network, and the feature matrix is extracted hierarchically through the LSTM at
the word and sentence level to obtain the fine-grained semantic representation.
After that, the max-pooling layer converts the feature matrix into a
lower-dimensional matrix, preserving only the obvious features. Finally, the
feature matrix is taken as the input of a fully connected softmax layer, which
contains a function that can convert the predicted linear vector into the
output value as the probability of the text in each classification. Extensive
experiments on two public benchmarks demonstrate the effectiveness of our
proposed approach on an extremely small data set. It retains the
state-of-the-art baseline performance in terms of precision, recall, accuracy,
and F1 score, and through the model size, training time, and convergence epoch,
we can conclude that our method can be deployed faster and lighter on mobile
devices.
- Abstract（参考訳）: テキスト分類は多くの実践的応用において重要な役割を果たしている。
現実世界では、非常に小さなデータセットがあります。
既存の手法の多くは、この種のデータセットを扱うために事前学習されたニューラルネットワークモデルを採用している。
しかし、これらの手法は、大きな出力サイズのためモバイルデバイスに展開することが難しいか、フレーズと節間の深い意味情報を完全に抽出できないかのどちらかである。
本稿では,不均衡かつ極めて小さなデータセットを持つ短文マルチクラス分類のための,マルチモデルに基づくディープラーニングフレームワークを提案する。
エンコーダ層はDISTILBERTを用いて,従来の特徴工学手法では表現が困難であった,文脈に敏感な動的単語ベクトルを得る。
この層の変圧器部分は蒸留されているので、我々の枠組みは圧縮されている。
次に、次の2つのレイヤを使って深い意味情報を抽出する。
エンコーダ層の出力は双方向のLSTMネットワークに送信され、その特徴行列は単語と文レベルでLSTMを介して階層的に抽出され、きめ細かい意味表現が得られる。
その後、マックスプール層は特徴行列を低次元行列に変換し、明らかな特徴のみを保持する。
最後に、その特徴行列を、予測線形ベクトルを各分類におけるテキストの確率として出力値に変換する関数を含む、完全に連結されたソフトマックス層の入力とする。
2つの公開ベンチマークに対する大規模な実験は、非常に小さなデータセット上で提案手法の有効性を示す。
精度,リコール,精度,F1スコアの点で最先端のベースライン性能を保ち,モデルサイズ,トレーニング時間,収束エポックを通じて,我々の手法をモバイルデバイスにより速く,軽量に展開できると結論付けることができる。
関連論文リスト
- Two are better than one: Context window extension with multi-grained self-injection [111.1376461868317]
SharedLLMは、多粒度コンテキスト圧縮とクエリ対応情報検索の設計哲学に基づく新しいアプローチである。
本研究では,テキストチャンクの多粒度コンテキスト情報を効率的にエンコードし,保存し,検索するための木構造データ構造を提案する。
論文 参考訳（メタデータ） (2024-10-25T06:08:59Z) - AutoML-guided Fusion of Entity and LLM-based Representations for Document Classification [43.56253799373878]
本研究は, 知識ベースから埋め込み情報を注入することで, テキスト分類作業において, 現代言語モデル(LLM)に基づく表現の性能を向上できることを実証する。
融合表現空間を持つ自動機械学習(AutoML)を考慮し、原表現空間の低次元投影を用いても分類精度を向上させることができることを示した。
論文 参考訳（メタデータ） (2024-08-19T08:41:40Z) - Adaptable and Reliable Text Classification using Large Language Models [7.962669028039958]
本稿では,Large Language Models(LLMs)を活用した適応的で信頼性の高いテキスト分類パラダイムを提案する。
我々は、4つの多様なデータセット上で、複数のLLM、機械学習アルゴリズム、ニューラルネットワークベースのアーキテクチャの性能を評価した。
システムの性能は、少数ショットや微調整の戦略によってさらに向上することができる。
論文 参考訳（メタデータ） (2024-05-17T04:05:05Z) - Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。
特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。
早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
論文 参考訳（メタデータ） (2023-06-20T03:00:22Z) - Combining Primal and Dual Representations in Deep Restricted Kernel
Machines Classifiers [17.031744210104556]
KPCAの目的と分類レベルを結合したDRKM分類法を提案する。
分類レベルは LSSVM あるいはプリミティブな特徴マップとして定式化でき、レベルとレイヤの深さを組み合わせられる。
開発したアルゴリズムは,高次元データを用いた畳み込みニューラルネットワーク(CNN)よりも少ないメモリで,小さなデータセットから効果的に学習可能であることを示す。
論文 参考訳（メタデータ） (2023-06-12T10:39:57Z) - Hierarchical Neural Network Approaches for Long Document Classification [3.6700088931938835]
我々は、より効率的な表現を効率よく捉えるために、事前訓練された普遍文(USE)と変換器からの双方向表現(BERT)を階層的に採用する。
提案するモデルは概念的に単純であり,入力データをチャンクに分割し,BERTとUSEのベースモデルに渡す。
USE + CNN/LSTM はスタンドアローンのベースラインよりも優れており、BERT + CNN/LSTM はスタンドアローンのベースラインと同等である。
論文 参考訳（メタデータ） (2022-01-18T07:17:40Z) - Benchmarking Multimodal AutoML for Tabular Data with Text Fields [83.43249184357053]
テキストフィールドを含む18個のマルチモーダルデータテーブルを組み立てる。
このベンチマークにより、研究者は、数値的、分類的、テキスト的特徴を用いて教師あり学習を行うための独自の方法を評価することができる。
論文 参考訳（メタデータ） (2021-11-04T09:29:16Z) - Hierarchical Text Classification of Urdu News using Deep Neural Network [0.0]
本稿では,ウルドゥー語におけるニュースの階層的テキスト分類のためのディープラーニングモデルを提案する。
スポーツ、テクノロジー、エンターテイメントという8つのジャンルに属する8つのオンラインニュースサイトから51,325の文章で構成されている。
論文 参考訳（メタデータ） (2021-07-07T11:06:11Z) - Train your classifier first: Cascade Neural Networks Training from upper
layers to lower layers [54.47911829539919]
我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。
本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。
提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
論文 参考訳（メタデータ） (2021-02-09T08:19:49Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z) - OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax
Layer [77.90012156266324]
本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。
そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。
実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2020-04-20T02:41:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。