論文の概要: Comparing effectiveness of regularization methods on text
classification: Simple and complex model in data shortage situation
- arxiv url: http://arxiv.org/abs/2403.00825v1
- Date: Tue, 27 Feb 2024 07:26:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-10 23:50:17.424207
- Title: Comparing effectiveness of regularization methods on text
classification: Simple and complex model in data shortage situation
- Title（参考訳）: テキスト分類における正規化手法の有効性の比較:データ不足状況における単純で複雑なモデル
- Authors: Jongga Lee, Jaeseung Yim, Seohee Park, Changwon Lim
- Abstract要約: ラベル付きデータが少ない場合, 各種分類モデルに対する正規化手法の効果について検討する。
簡単な単語埋め込みモデルと複雑なモデルを比較する。
4つのテキスト分類データセットの正規化効果を評価する。
- 参考スコア（独自算出の注目度）: 0.8848340429852071
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text classification is the task of assigning a document to a predefined
class. However, it is expensive to acquire enough labeled documents or to label
them. In this paper, we study the regularization methods' effects on various
classification models when only a few labeled data are available. We compare a
simple word embedding-based model, which is simple but effective, with complex
models (CNN and BiLSTM). In supervised learning, adversarial training can
further regularize the model. When an unlabeled dataset is available, we can
regularize the model using semi-supervised learning methods such as the Pi
model and virtual adversarial training. We evaluate the regularization effects
on four text classification datasets (AG news, DBpedia, Yahoo! Answers, Yelp
Polarity), using only 0.1% to 0.5% of the original labeled training documents.
The simple model performs relatively well in fully supervised learning, but
with the help of adversarial training and semi-supervised learning, both simple
and complex models can be regularized, showing better results for complex
models. Although the simple model is robust to overfitting, a complex model
with well-designed prior beliefs can be also robust to overfitting.
- Abstract（参考訳）: テキスト分類は、あらかじめ定義されたクラスに文書を割り当てるタスクである。
しかし、十分なラベル付き文書の取得やラベル付けは高価である。
本稿では,いくつかのラベル付きデータのみ利用可能な分類モデルに対する正規化手法の効果について検討する。
簡単な単語埋め込みモデルと複雑なモデル(CNN, BiLSTM)を比較した。
教師付き学習では、敵対的トレーニングはモデルをさらに規則化することができる。
ラベルなしデータセットが利用可能であれば、Piモデルや仮想敵トレーニングのような半教師付き学習手法を用いてモデルを正規化することができる。
4つのテキスト分類データセット(AG News, DBpedia, Yahoo! Answers, Yelp Polarity)の正規化効果を、ラベル付きトレーニング文書の0.1%から0.5%のみを用いて評価する。
単純なモデルは、完全な教師付き学習において比較的よく機能するが、敵対的なトレーニングと半教師付き学習の助けを借りて、単純で複雑なモデルの両方を正規化し、複雑なモデルに対してより良い結果を与えることができる。
単純なモデルは過剰適合に対して堅牢であるが、十分に設計された事前信念を持つ複雑なモデルは過適合に対しても堅牢である。
関連論文リスト
- Provable unlearning in topic modeling and downstream tasks [36.571324268874264]
アンラーニングの保証は、しばしば教師付き学習設定に限られる。
我々は、事前学習と微調整のパラダイムにおいて、初となるアンラーニングの理論的保証を提供する。
我々は、特定のタスクに微調整されたモデルから事前学習データを容易に解放できることを示し、ベースモデルを変更することなく、このデータを解放できることを示した。
論文 参考訳（メタデータ） (2024-11-19T16:04:31Z) - Pre-Trained Vision-Language Models as Partial Annotators [40.89255396643592]
事前学習された視覚言語モデルは、画像と自然言語の統一表現をモデル化するために大量のデータを学習する。
本稿では,事前学習型モデルアプリケーションのための「事前学習型-弱教師付き学習」パラダイムについて検討し,画像分類タスクの実験を行う。
論文 参考訳（メタデータ） (2024-05-23T17:17:27Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot
Text Classification Tasks [75.42002070547267]
テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。
モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
論文 参考訳（メタデータ） (2023-05-22T23:43:23Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Uncertainty Estimation for Language Reward Models [5.33024001730262]
言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。
人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。
能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
論文 参考訳（メタデータ） (2022-03-14T20:13:21Z) - Practical Active Learning with Model Selection for Small Data [13.128648437690224]
モデル選択を用いた実践的能動的学習のための簡易かつ高速な手法を開発した。
本手法は,ラジアル基底関数カーネルを用いたサポートベクトル分類を用いて,二元分類のためのプールベースアクティブラーナに基づく。
論文 参考訳（メタデータ） (2021-12-21T23:11:27Z) - Momentum Pseudo-Labeling for Semi-Supervised Speech Recognition [55.362258027878966]
本稿では,半教師付き音声認識のための簡易かつ効果的な手法として,モーメント擬似ラベル(MPL)を提案する。
MPLは、平均的な教師メソッドにインスパイアされて、相互に相互作用し、学習するオンラインとオフラインの2つのモデルで構成されている。
実験の結果,MPLはベースモデルよりも効果的に改善され,様々な半教師付きシナリオに拡張可能であることが示された。
論文 参考訳（メタデータ） (2021-06-16T16:24:55Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳（メタデータ） (2021-06-06T00:04:49Z) - Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。
従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。
本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
論文 参考訳（メタデータ） (2021-01-21T01:46:36Z) - A Comparison of LSTM and BERT for Small Corpus [0.0]
NLP分野の最近の進歩は、スクラッチから始めるのではなく、事前学習されたモデルを調整することによって、新しいタスクの最先端結果を達成するのに、トランスファーラーニングが役立つことを示している。
本稿では、学術と産業の科学者が頻繁に直面する現実的なシナリオに焦点を当てる。小さなデータセットがあれば、BERTのような大規模な事前学習モデルを使用して、単純なモデルよりも優れた結果を得ることができるか?
実験の結果,2方向LSTMモデルは小データセットのBERTモデルよりもはるかに高い結果が得られることが示され,これらの単純なモデルは事前学習したモデルよりもはるかに少ない時間で訓練されることがわかった。
論文 参考訳（メタデータ） (2020-09-11T14:01:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。