論文の概要: WC-SBERT: Zero-Shot Text Classification via SBERT with Self-Training for Wikipedia Categories

• arxiv url: http://arxiv.org/abs/2307.15293v1
• Date: Fri, 28 Jul 2023 04:17:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-31 13:54:18.640440
• Title: WC-SBERT: Zero-Shot Text Classification via SBERT with Self-Training for Wikipedia Categories
• Title（参考訳）: WC-SBERT:SBERTによるウィキペディアカテゴリの自己評価によるゼロショットテキスト分類
• Authors: Te-Yu Chi, Yu-Meng Tang, Chia-Wen Lu, Qiu-Xia Zhang, Jyh-Shing Roger Jang
• Abstract要約: 本研究は,NLPにおけるゼロショットテキスト分類問題の解決に重点を置いている。 本稿では,テキストではなくラベルを用いた新たな自己学習戦略を提案する。 提案手法は,Yahoo Topic と AG News の双方のデータセットに対して,最先端の結果を得られる。
• 参考スコア（独自算出の注目度）: 5.652290685410878
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Our research focuses on solving the zero-shot text classification problem in NLP, with a particular emphasis on innovative self-training strategies. To achieve this objective, we propose a novel self-training strategy that uses labels rather than text for training, significantly reducing the model's training time. Specifically, we use categories from Wikipedia as our training set and leverage the SBERT pre-trained model to establish positive correlations between pairs of categories within the same text, facilitating associative training. For new test datasets, we have improved the original self-training approach, eliminating the need for prior training and testing data from each target dataset. Instead, we adopt Wikipedia as a unified training dataset to better approximate the zero-shot scenario. This modification allows for rapid fine-tuning and inference across different datasets, greatly reducing the time required for self-training. Our experimental results demonstrate that this method can adapt the model to the target dataset within minutes. Compared to other BERT-based transformer models, our approach significantly reduces the amount of training data by training only on labels, not the actual text, and greatly improves training efficiency by utilizing a unified training set. Additionally, our method achieves state-of-the-art results on both the Yahoo Topic and AG News datasets.
• Abstract（参考訳）: 本研究は,nlpにおけるゼロショットテキスト分類問題を解決することに焦点を当て,特に革新的な自己学習戦略に着目した。 この目的を達成するために,テキストではなくラベルを用いた新たな自己学習戦略を提案し,モデルの学習時間を著しく短縮する。 具体的には、ウィキペディアのカテゴリをトレーニングセットとして使用し、SBERT事前学習モデルを利用して、同じテキスト内のカテゴリのペア間の正の相関を確立することにより、連想的トレーニングを促進する。 新しいテストデータセットでは、元のセルフトレーニングアプローチを改善し、各ターゲットデータセットからの事前トレーニングとテストデータの必要性を排除しました。 代わりに、ゼロショットシナリオをよりよく近似するために、統合トレーニングデータセットとしてwikipediaを採用しています。 この変更により、さまざまなデータセットにわたる迅速な微調整と推論が可能になり、自己学習に要する時間を大幅に削減できる。 実験により,本手法がターゲットデータセットに数分で適応できることを実証した。 他のBERTベースのトランスモデルと比較して、本手法は実際のテキストではなくラベルのみをトレーニングすることでトレーニングデータの量を大幅に削減し、統一されたトレーニングセットを利用することでトレーニング効率を大幅に向上させる。 さらに,本手法はYahoo TopicとAG Newsの双方のデータセットに対して,最先端の結果を得る。

関連論文リスト

• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• DST-Det: Simple Dynamic Self-Training for Open-Vocabulary Object Detection [72.25697820290502]
  この研究は、ゼロショット分類によって潜在的に新しいクラスを特定するための単純かつ効率的な戦略を導入する。 このアプローチは、アノテーションやデータセット、再学習を必要とせずに、新しいクラスのリコールと精度を高めるセルフトレーニング戦略として言及する。 LVIS、V3Det、COCOを含む3つのデータセットに対する実証的な評価は、ベースラインのパフォーマンスを大幅に改善したことを示している。
  論文  参考訳（メタデータ） (2023-10-02T17:52:24Z)
• Iterative Loop Learning Combining Self-Training and Active Learning for Domain Adaptive Semantic Segmentation [1.827510863075184]
  この問題を緩和するために、自己学習とアクティブラーニングが提案されている。 本稿では,自己学習とアクティブラーニングを組み合わせた反復ループ学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-31T01:31:43Z)
• Robustifying Sentiment Classification by Maximally Exploiting Few Counterfactuals [16.731183915325584]
  そこで本研究では,トレーニングデータの少数のアノテーションのみを必要とする新しい手法を提案する。 また,手作業による正解率を1%に抑えることで,顕著な精度向上を実現した。
  論文  参考訳（メタデータ） (2022-10-21T08:30:09Z)
• Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation [56.98033565736974]
  テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。 提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-06-06T16:11:58Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)
• Improving Semantic Segmentation via Self-Training [75.07114899941095]
  半教師付きアプローチ,特に自己学習パラダイムを用いて,最先端の成果を得ることができることを示す。 まず、ラベル付きデータに基づいて教師モデルを訓練し、次にラベルなしデータの大規模なセット上で擬似ラベルを生成する。 私たちの堅牢なトレーニングフレームワークは、人名と擬似ラベルを共同で消化し、Cityscapes、CamVid、KITTIデータセット上で最高のパフォーマンスを達成することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。