論文の概要: Self-supervised Regularization for Text Classification
- arxiv url: http://arxiv.org/abs/2103.05231v1
- Date: Tue, 9 Mar 2021 05:35:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-11 05:28:58.340059
- Title: Self-supervised Regularization for Text Classification
- Title(参考訳): テキスト分類のための自己監視正規化
- Authors: Meng Zhou, Zechen Li, Pengtao Xie
- Abstract要約: 多くの実世界の問題において、分類モデルの訓練用テキスト数は限られており、これらのモデルは過度に適合する傾向にある。
自己監視型学習(SSL)に基づくデータ依存正規化手法であるSSL-Regを提案する。
SSLは、人間提供のラベルを使用せずに入力データの補助タスクを定義する教師なしの学習アプローチです。
- 参考スコア(独自算出の注目度): 14.824073299035675
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text classification is a widely studied problem and has broad applications.
In many real-world problems, the number of texts for training classification
models is limited, which renders these models prone to overfitting. To address
this problem, we propose SSL-Reg, a data-dependent regularization approach
based on self-supervised learning (SSL). SSL is an unsupervised learning
approach which defines auxiliary tasks on input data without using any
human-provided labels and learns data representations by solving these
auxiliary tasks. In SSL-Reg, a supervised classification task and an
unsupervised SSL task are performed simultaneously. The SSL task is
unsupervised, which is defined purely on input texts without using any
human-provided labels. Training a model using an SSL task can prevent the model
from being overfitted to a limited number of class labels in the classification
task. Experiments on 17 text classification datasets demonstrate the
effectiveness of our proposed method.
- Abstract(参考訳): テキスト分類は広く研究されている問題であり、幅広い応用がある。
多くの実世界の問題において、分類モデルの訓練用テキスト数は限られており、これらのモデルは過度に適合する傾向にある。
そこで本研究では,自己監視型学習(SSL)に基づくデータ依存型正規化手法であるSSL-Regを提案する。
SSLは、人間提供のラベルを使用せずに入力データの補助タスクを定義し、これらの補助タスクを解決することによってデータ表現を学習する教師なしの学習アプローチです。
SSL-Regでは、教師なし分類タスクと教師なしSSLタスクを同時に行う。
SSLタスクは教師なしで、人間提供のラベルを使用せずに入力テキストで純粋に定義されます。
SSLタスクを使用してモデルをトレーニングすると、分類タスクの限られた数のクラスラベルにモデルがオーバーフィットするのを防ぐことができます。
提案手法の有効性を実証する17のテキスト分類データセットの実験を行った。
関連論文リスト
- Semi-Supervised Learning in the Few-Shot Zero-Shot Scenario [14.916971861796384]
Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータの両方を利用して、モデルのパフォーマンスを向上させるフレームワークである。
既存のSSLメソッドを拡張し、特定のクラスが欠落している状況に対処するための一般的なアプローチを提案する。
実験の結果,最先端のSSL,オープンセットのSSL,オープンワールドのSSLメソッドと比較して,精度が大幅に向上した。
論文 参考訳(メタデータ) (2023-08-27T14:25:07Z) - Rethinking Semi-supervised Learning with Language Models [33.70349754359132]
半教師付き学習(SSL)は、モデル性能を改善するために非ラベルデータを有効に活用することを目的とした一般的な設定である。
自己学習(ST)とタスク適応事前学習(TAPT)の2つの手法がある。
論文 参考訳(メタデータ) (2023-05-22T13:07:35Z) - A Survey on Self-supervised Learning: Algorithms, Applications, and
Future Trends [86.78685759427414]
自己教師付き学習(SSL)は、ラベル付きラベルを頼らずにラベル付きデータから識別的特徴を学習することを目的としている。
SSLは最近大きな注目を集め、多くの関連するアルゴリズムの開発に繋がった。
本稿では,アルゴリズム的側面,アプリケーション領域,3つの重要なトレンド,オープンな研究課題を含む,多様なSSL手法のレビューを行う。
論文 参考訳(メタデータ) (2023-01-13T14:41:05Z) - Complementing Semi-Supervised Learning with Uncertainty Quantification [6.612035830987296]
そこで本研究では,アレータ性およびてんかん性不確実性定量化に依存する,教師なし不確実性認識の新たな目的を提案する。
CIFAR-100やMini-ImageNetのような複雑なデータセットでは,結果が最先端の成果よりも優れています。
論文 参考訳(メタデータ) (2022-07-22T00:15:02Z) - Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for
Few-Shot Learning [125.98370880855579]
擬似ラベルベースメタラーニング(PLML)という,シンプルで効果的なメタトレーニングフレームワークを提案する。
まず、一般的な半教師付き学習(SSL)を用いて分類器を訓練し、ラベルなしデータの擬似ラベルを得る。
ラベル付きおよび擬似ラベル付きデータから数ショットのタスクを構築し、特徴の平滑化と雑音抑圧を伴う新しい微調整法を設計する。
論文 参考訳(メタデータ) (2022-07-14T10:53:53Z) - OpenLDN: Learning to Discover Novel Classes for Open-World
Semi-Supervised Learning [110.40285771431687]
半教師付き学習(SSL)は、教師付き学習のアノテーションボトルネックに対処する主要なアプローチの1つである。
最近のSSLメソッドは、ラベルなしデータの大規模なリポジトリを有効活用して、ラベル付きデータの小さなセットに依存しながら、パフォーマンスを向上させることができる。
この研究は、ペアワイズ類似度損失を利用して新しいクラスを発見するOpenLDNを導入している。
論文 参考訳(メタデータ) (2022-07-05T18:51:05Z) - DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。
提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
論文 参考訳(メタデータ) (2022-03-17T02:38:49Z) - Robust Deep Semi-Supervised Learning: A Brief Introduction [63.09703308309176]
半教師付き学習(SSL)は、ラベルが不十分なときにラベル付きデータを活用することにより、学習性能を向上させることを目的としている。
ディープモデルによるSSLは、標準ベンチマークタスクで成功したことが証明されている。
しかし、それらは現実世界のアプリケーションにおける様々な堅牢性に対する脅威に対して依然として脆弱である。
論文 参考訳(メタデータ) (2022-02-12T04:16:41Z) - Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
データセット不均衡下での自己教師型学習について検討する。
既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。
我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
論文 参考訳(メタデータ) (2021-10-11T06:29:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。