論文の概要: A multi-model-based deep learning framework for short text multiclass
classification with the imbalanced and extremely small data set
- arxiv url: http://arxiv.org/abs/2206.12027v1
- Date: Fri, 24 Jun 2022 00:51:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-27 12:30:48.283335
- Title: A multi-model-based deep learning framework for short text multiclass
classification with the imbalanced and extremely small data set
- Title(参考訳): 不均衡・極小データセットを用いた短文多クラス分類のための多モデル深層学習フレームワーク
- Authors: Jiajun Tong, Zhixiao Wang, Xiaobin Rui
- Abstract要約: 本稿では,不均衡かつ極めて小さなデータセットを持つ短文マルチクラス分類のための,マルチモデルに基づくディープラーニングフレームワークを提案する。
精度、リコール、精度、F1スコアの点で最先端のベースライン性能を維持している。
- 参考スコア(独自算出の注目度): 0.6875312133832077
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text classification plays an important role in many practical applications.
In the real world, there are extremely small datasets. Most existing methods
adopt pre-trained neural network models to handle this kind of dataset.
However, these methods are either difficult to deploy on mobile devices because
of their large output size or cannot fully extract the deep semantic
information between phrases and clauses. This paper proposes a multimodel-based
deep learning framework for short-text multiclass classification with an
imbalanced and extremely small data set. Our framework mainly includes five
layers: The encoder layer uses DISTILBERT to obtain context-sensitive dynamic
word vectors that are difficult to represent in traditional feature engineering
methods. Since the transformer part of this layer is distilled, our framework
is compressed. Then, we use the next two layers to extract deep semantic
information. The output of the encoder layer is sent to a bidirectional LSTM
network, and the feature matrix is extracted hierarchically through the LSTM at
the word and sentence level to obtain the fine-grained semantic representation.
After that, the max-pooling layer converts the feature matrix into a
lower-dimensional matrix, preserving only the obvious features. Finally, the
feature matrix is taken as the input of a fully connected softmax layer, which
contains a function that can convert the predicted linear vector into the
output value as the probability of the text in each classification. Extensive
experiments on two public benchmarks demonstrate the effectiveness of our
proposed approach on an extremely small data set. It retains the
state-of-the-art baseline performance in terms of precision, recall, accuracy,
and F1 score, and through the model size, training time, and convergence epoch,
we can conclude that our method can be deployed faster and lighter on mobile
devices.
- Abstract(参考訳): テキスト分類は多くの実践的応用において重要な役割を果たしている。
現実世界では、非常に小さなデータセットがあります。
既存の手法の多くは、この種のデータセットを扱うために事前学習されたニューラルネットワークモデルを採用している。
しかし、これらの手法は、大きな出力サイズのためモバイルデバイスに展開することが難しいか、フレーズと節間の深い意味情報を完全に抽出できないかのどちらかである。
本稿では,不均衡かつ極めて小さなデータセットを持つ短文マルチクラス分類のための,マルチモデルに基づくディープラーニングフレームワークを提案する。
エンコーダ層はDISTILBERTを用いて,従来の特徴工学手法では表現が困難であった,文脈に敏感な動的単語ベクトルを得る。
この層の変圧器部分は蒸留されているので、我々の枠組みは圧縮されている。
次に、次の2つのレイヤを使って深い意味情報を抽出する。
エンコーダ層の出力は双方向のLSTMネットワークに送信され、その特徴行列は単語と文レベルでLSTMを介して階層的に抽出され、きめ細かい意味表現が得られる。
その後、マックスプール層は特徴行列を低次元行列に変換し、明らかな特徴のみを保持する。
最後に、その特徴行列を、予測線形ベクトルを各分類におけるテキストの確率として出力値に変換する関数を含む、完全に連結されたソフトマックス層の入力とする。
2つの公開ベンチマークに対する大規模な実験は、非常に小さなデータセット上で提案手法の有効性を示す。
精度,リコール,精度,F1スコアの点で最先端のベースライン性能を保ち,モデルサイズ,トレーニング時間,収束エポックを通じて,我々の手法をモバイルデバイスにより速く,軽量に展開できると結論付けることができる。
関連論文リスト
- Sparsify-then-Classify: From Internal Neurons of Large Language Models
To Efficient Text Classifiers [4.81502049551298]
本稿では,全ての活性化状態と隠蔽状態に複数のプーリング戦略を適用することで,すべての内部表現を利用する手法を提案する。
我々の新しい軽量戦略であるSparsify-then-Classify (STC) は、まずタスク固有の機能を階層ごとに分散し、次にテキスト分類のために階層に集約する。
モデルとデータセットの包括的集合に関する実験により、STCは事前訓練されたモデルと微調整されたモデルの分類性能を一貫して改善するだけでなく、トレーニングと推論の両方においてより効率的であり、本質的に解釈可能であることが示された。
論文 参考訳(メタデータ) (2023-11-27T16:28:20Z) - Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。
特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。
早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
論文 参考訳(メタデータ) (2023-06-20T03:00:22Z) - Combining Primal and Dual Representations in Deep Restricted Kernel
Machines Classifiers [17.031744210104556]
KPCAの目的と分類レベルを結合したDRKM分類法を提案する。
分類レベルは LSSVM あるいはプリミティブな特徴マップとして定式化でき、レベルとレイヤの深さを組み合わせられる。
開発したアルゴリズムは,高次元データを用いた畳み込みニューラルネットワーク(CNN)よりも少ないメモリで,小さなデータセットから効果的に学習可能であることを示す。
論文 参考訳(メタデータ) (2023-06-12T10:39:57Z) - Large-Margin Representation Learning for Texture Classification [67.94823375350433]
本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。
テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
論文 参考訳(メタデータ) (2022-06-17T04:07:45Z) - Online Deep Learning based on Auto-Encoder [4.128388784932455]
オートエンコーダ(ODLAE)に基づく2段階オンライン深層学習を提案する。
復元損失を考慮した自動エンコーダを用いて,インスタンスの階層的潜在表現を抽出する。
我々は,各隠れ層の分類結果を融合して得られる出力レベル融合戦略と,隠れ層の出力を融合させる自己保持機構を利用した特徴レベル融合戦略の2つの融合戦略を考案した。
論文 参考訳(メタデータ) (2022-01-19T02:14:57Z) - Hierarchical Neural Network Approaches for Long Document Classification [3.6700088931938835]
我々は、より効率的な表現を効率よく捉えるために、事前訓練された普遍文(USE)と変換器からの双方向表現(BERT)を階層的に採用する。
提案するモデルは概念的に単純であり,入力データをチャンクに分割し,BERTとUSEのベースモデルに渡す。
USE + CNN/LSTM はスタンドアローンのベースラインよりも優れており、BERT + CNN/LSTM はスタンドアローンのベースラインと同等である。
論文 参考訳(メタデータ) (2022-01-18T07:17:40Z) - Benchmarking Multimodal AutoML for Tabular Data with Text Fields [83.43249184357053]
テキストフィールドを含む18個のマルチモーダルデータテーブルを組み立てる。
このベンチマークにより、研究者は、数値的、分類的、テキスト的特徴を用いて教師あり学習を行うための独自の方法を評価することができる。
論文 参考訳(メタデータ) (2021-11-04T09:29:16Z) - Hierarchical Text Classification of Urdu News using Deep Neural Network [0.0]
本稿では,ウルドゥー語におけるニュースの階層的テキスト分類のためのディープラーニングモデルを提案する。
スポーツ、テクノロジー、エンターテイメントという8つのジャンルに属する8つのオンラインニュースサイトから51,325の文章で構成されている。
論文 参考訳(メタデータ) (2021-07-07T11:06:11Z) - Train your classifier first: Cascade Neural Networks Training from upper
layers to lower layers [54.47911829539919]
我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。
本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。
提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
論文 参考訳(メタデータ) (2021-02-09T08:19:49Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳(メタデータ) (2020-09-08T13:10:21Z) - OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax
Layer [77.90012156266324]
本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。
そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。
実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2020-04-20T02:41:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。