論文の概要: Liberating Seen Classes: Boosting Few-Shot and Zero-Shot Text Classification via Anchor Generation and Classification Reframing

• arxiv url: http://arxiv.org/abs/2405.03565v1
• Date: Mon, 6 May 2024 15:38:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 13:17:09.988170
• Title: Liberating Seen Classes: Boosting Few-Shot and Zero-Shot Text Classification via Anchor Generation and Classification Reframing
• Title（参考訳）: シードクラスの解放:アンカー生成と分類リフレーミングによるFew-ShotとZero-Shotのテキスト分類
• Authors: Han Liu, Siyang Zhao, Xiaotong Zhang, Feng Zhang, Wei Wang, Fenglong Ma, Hongyang Chen, Hong Yu, Xianchao Zhang,
• Abstract要約: 短いショットとゼロショットのテキスト分類は、ラベル付きサンプルやラベル付きサンプルが全くない新しいクラスからのサンプルを認識することを目的としている。 少数ショットとゼロショットのテキスト分類のためのシンプルで効果的な戦略を提案する。
• 参考スコア（独自算出の注目度）: 38.84431954053434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot and zero-shot text classification aim to recognize samples from novel classes with limited labeled samples or no labeled samples at all. While prevailing methods have shown promising performance via transferring knowledge from seen classes to unseen classes, they are still limited by (1) Inherent dissimilarities among classes make the transformation of features learned from seen classes to unseen classes both difficult and inefficient. (2) Rare labeled novel samples usually cannot provide enough supervision signals to enable the model to adjust from the source distribution to the target distribution, especially for complicated scenarios. To alleviate the above issues, we propose a simple and effective strategy for few-shot and zero-shot text classification. We aim to liberate the model from the confines of seen classes, thereby enabling it to predict unseen categories without the necessity of training on seen classes. Specifically, for mining more related unseen category knowledge, we utilize a large pre-trained language model to generate pseudo novel samples, and select the most representative ones as category anchors. After that, we convert the multi-class classification task into a binary classification task and use the similarities of query-anchor pairs for prediction to fully leverage the limited supervision signals. Extensive experiments on six widely used public datasets show that our proposed method can outperform other strong baselines significantly in few-shot and zero-shot tasks, even without using any seen class samples.
• Abstract（参考訳）: 短いショットとゼロショットのテキスト分類は、ラベル付きサンプルやラベル付きサンプルが全くない新しいクラスからのサンプルを認識することを目的としている。 一般的な手法では,見知らぬクラスから見つからないクラスへ知識を移すことによって,有望なパフォーマンスを示すが,(1)クラス間の相違は,見知らぬクラスから見つからないクラスへ学習した特徴を,難易度と非効率度の両方に変換する。 2) ラベル付き新規サンプルでは,特に複雑なシナリオにおいて,ソース分布からターゲット分布への調整が可能な十分な監視信号が得られないことが多い。 上記の問題を緩和するために,少数ショットとゼロショットのテキスト分類のためのシンプルで効果的な戦略を提案する。 そこで我々は,見知らぬクラスの制約からモデルを解放し,見知らぬクラスの学習を必要とせずに,見つからないカテゴリを予測できるようにする。 具体的には、より関係のないカテゴリの知識をマイニングするために、大きな事前学習言語モデルを用いて偽の新規サンプルを生成し、最も代表的なものをカテゴリアンカーとして選択する。 その後、マルチクラス分類タスクをバイナリ分類タスクに変換し、クエリ-アンカーペアの類似性を予測に利用して、限られた監視信号を完全に活用する。 6つの広く利用されている公開データセットに対する大規模な実験により,提案手法は,クラスサンプルを使わずとも,ほとんどショットやゼロショットのタスクにおいて,他の強力なベースラインを著しく上回り得ることが示された。

関連論文リスト

• Boosting Few-Shot Text Classification via Distribution Estimation [38.99459686893034]
  そこで本稿では,未ラベルの問合せサンプルを用いて,新しいクラスの分布を推定する,単純かつ効果的な2つの手法を提案する。 具体的には、まずクラスまたはサンプルをガウス分布に従って仮定し、元のサポートセットと最も近いクエリサンプルを使用する。 そして,推定分布から抽出したラベル付きサンプルを増量し,分類モデルの訓練に十分な監督力を与える。
  論文  参考訳（メタデータ） (2023-03-26T05:58:39Z)
• Generalization Bounds for Few-Shot Transfer Learning with Pretrained Classifiers [26.844410679685424]
  本研究では,新しいクラスに移動可能な分類の表現を基礎モデルで学習する能力について検討する。 クラス-機能-変数の崩壊の場合,新しいクラスで学習した特徴マップのわずかな誤差が小さいことを示す。
  論文  参考訳（メタデータ） (2022-12-23T18:46:05Z)
• Are Fewer Labels Possible for Few-shot Learning? [81.89996465197392]
  ごく限られたデータとラベルのため、わずかなショット学習は難しい。 近年のBiT (Big Transfer) 研究は、異なる領域における大規模ラベル付きデータセットの事前トレーニングによって、少数ショット学習が大きな恩恵を受けることを示した。 本稿では,ファインチューニングにおけるクラスタリングと固有サンプルの共進化を活かし,ショット学習の削減を図る。
  論文  参考訳（メタデータ） (2020-12-10T18:59:29Z)
• Few-Shot Learning with Intra-Class Knowledge Transfer [100.87659529592223]
  アンバランスなデータセットを用いた数発の分類タスクについて検討する。 近年の研究では、生成モデルを用いて数発の授業のトレーニングデータを増やすことで、この課題を解決することが提案されている。 本稿では,近隣クラスが類似した統計情報を共有するという直感で,近隣クラスからのクラス内知識を活用することを提案する。
  論文  参考訳（メタデータ） (2020-08-22T18:15:38Z)
• Cooperative Bi-path Metric for Few-shot Learning [50.98891758059389]
  数発の分類問題の調査に2つの貢献をしている。 本稿では,従来の教師あり学習法において,ベースクラスで訓練されたシンプルで効果的なベースラインについて報告する。 本稿では, 基礎クラスと新しいクラス間の相関を利用して, 精度の向上を図る, 分類のための協調的二経路計量を提案する。
  論文  参考訳（メタデータ） (2020-08-10T11:28:52Z)
• Few-shot Classification via Adaptive Attention [93.06105498633492]
  ごく少数の参照サンプルに基づいて,クエリサンプル表現を最適化し,高速に適応する新しい数ショット学習手法を提案する。 実験で実証したように,提案モデルでは,様々なベンチマーク数ショット分類と微粒化認識データセットを用いて,最先端の分類結果を達成している。
  論文  参考訳（メタデータ） (2020-08-06T05:52:59Z)
• Towards Cross-Granularity Few-Shot Learning: Coarse-to-Fine Pseudo-Labeling with Visual-Semantic Meta-Embedding [13.063136901934865]
  少ないショットラーニングは、テスト時に少数のサンプルしか持たない、新しいカテゴリに迅速に適応することを目的としている。 本稿では,より困難なシナリオ,すなわちクロスグラニュラリティ・グラニュラリティ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラ 画像埋め込みの類似性に応じて,各粗いクラスを擬似微細クラスにグリーディクラスタリングすることで,詳細なデータ分布を近似する。
  論文  参考訳（メタデータ） (2020-07-11T03:44:21Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。