論文の概要: Self-supervised Regularization for Text Classification

• arxiv url: http://arxiv.org/abs/2103.05231v1
• Date: Tue, 9 Mar 2021 05:35:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-11 05:28:58.340059
• Title: Self-supervised Regularization for Text Classification
• Title（参考訳）: テキスト分類のための自己監視正規化
• Authors: Meng Zhou, Zechen Li, Pengtao Xie
• Abstract要約: 多くの実世界の問題において、分類モデルの訓練用テキスト数は限られており、これらのモデルは過度に適合する傾向にある。 自己監視型学習(SSL)に基づくデータ依存正規化手法であるSSL-Regを提案する。 SSLは、人間提供のラベルを使用せずに入力データの補助タスクを定義する教師なしの学習アプローチです。
• 参考スコア（独自算出の注目度）: 14.824073299035675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text classification is a widely studied problem and has broad applications. In many real-world problems, the number of texts for training classification models is limited, which renders these models prone to overfitting. To address this problem, we propose SSL-Reg, a data-dependent regularization approach based on self-supervised learning (SSL). SSL is an unsupervised learning approach which defines auxiliary tasks on input data without using any human-provided labels and learns data representations by solving these auxiliary tasks. In SSL-Reg, a supervised classification task and an unsupervised SSL task are performed simultaneously. The SSL task is unsupervised, which is defined purely on input texts without using any human-provided labels. Training a model using an SSL task can prevent the model from being overfitted to a limited number of class labels in the classification task. Experiments on 17 text classification datasets demonstrate the effectiveness of our proposed method.
• Abstract（参考訳）: テキスト分類は広く研究されている問題であり、幅広い応用がある。 多くの実世界の問題において、分類モデルの訓練用テキスト数は限られており、これらのモデルは過度に適合する傾向にある。 そこで本研究では,自己監視型学習(SSL)に基づくデータ依存型正規化手法であるSSL-Regを提案する。 SSLは、人間提供のラベルを使用せずに入力データの補助タスクを定義し、これらの補助タスクを解決することによってデータ表現を学習する教師なしの学習アプローチです。 SSL-Regでは、教師なし分類タスクと教師なしSSLタスクを同時に行う。 SSLタスクは教師なしで、人間提供のラベルを使用せずに入力テキストで純粋に定義されます。 SSLタスクを使用してモデルをトレーニングすると、分類タスクの限られた数のクラスラベルにモデルがオーバーフィットするのを防ぐことができます。 提案手法の有効性を実証する17のテキスト分類データセットの実験を行った。

関連論文リスト

• OwMatch: Conditional Self-Labeling with Consistency for Open-World Semi-Supervised Learning [4.462726364160216]
  半教師付き学習(SSL)は、注釈のないデータの可能性を活用するための堅牢なフレームワークを提供する。 オープンワールドSSL(OwSSL)の出現は、ラベルのないデータが目に見えないクラスのサンプルを包含する、より実践的な課題をもたらす。 我々は,条件付き自己ラベルとオープンワールド階層しきい値を組み合わせたOwMatchという効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-04T06:07:43Z)
• Semi-Supervised Sparse Gaussian Classification: Provable Benefits of Unlabeled Data [6.812609988733991]
  高次元ガウス分類のためのSSLについて検討する。 正確な特徴選択のための情報理論の下限を解析する。 理論的解析を補完するシミュレーションを提案する。
  論文  参考訳（メタデータ） (2024-09-05T08:21:05Z)
• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Generalized Semi-Supervised Learning via Self-Supervised Feature Adaptation [87.17768598044427]
  従来の半教師付き学習は、ラベル付きデータとラベルなしデータの特徴分布が一貫したものであると仮定する。 本稿では,ラベル付きおよびラベルなしデータの分散によるSSL性能向上のための汎用フレームワークであるセルフ・スーパービジョン・フィーチャー・アダプテーション(SSFA)を提案する。 提案するSSFAは擬似ラベルベースのSSL学習者に適用可能であり,ラベル付き,ラベルなし,さらには目に見えない分布における性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-05-31T03:13:45Z)
• Rethinking Semi-supervised Learning with Language Models [33.70349754359132]
  半教師付き学習(SSL)は、モデル性能を改善するために非ラベルデータを有効に活用することを目的とした一般的な設定である。 自己学習(ST)とタスク適応事前学習(TAPT)の2つの手法がある。
  論文  参考訳（メタデータ） (2023-05-22T13:07:35Z)
• Complementing Semi-Supervised Learning with Uncertainty Quantification [6.612035830987296]
  そこで本研究では,アレータ性およびてんかん性不確実性定量化に依存する,教師なし不確実性認識の新たな目的を提案する。 CIFAR-100やMini-ImageNetのような複雑なデータセットでは,結果が最先端の成果よりも優れています。
  論文  参考訳（メタデータ） (2022-07-22T00:15:02Z)
• OpenLDN: Learning to Discover Novel Classes for Open-World Semi-Supervised Learning [110.40285771431687]
  半教師付き学習(SSL)は、教師付き学習のアノテーションボトルネックに対処する主要なアプローチの1つである。 最近のSSLメソッドは、ラベルなしデータの大規模なリポジトリを有効活用して、ラベル付きデータの小さなセットに依存しながら、パフォーマンスを向上させることができる。 この研究は、ペアワイズ類似度損失を利用して新しいクラスを発見するOpenLDNを導入している。
  論文  参考訳（メタデータ） (2022-07-05T18:51:05Z)
• DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
  我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。 提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
  論文  参考訳（メタデータ） (2022-03-17T02:38:49Z)
• Robust Deep Semi-Supervised Learning: A Brief Introduction [63.09703308309176]
  半教師付き学習(SSL)は、ラベルが不十分なときにラベル付きデータを活用することにより、学習性能を向上させることを目的としている。 ディープモデルによるSSLは、標準ベンチマークタスクで成功したことが証明されている。 しかし、それらは現実世界のアプリケーションにおける様々な堅牢性に対する脅威に対して依然として脆弱である。
  論文  参考訳（メタデータ） (2022-02-12T04:16:41Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。