論文の概要: Label-template based Few-Shot Text Classification with Contrastive Learning

• arxiv url: http://arxiv.org/abs/2412.10110v1
• Date: Fri, 13 Dec 2024 12:51:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:04:12.127791
• Title: Label-template based Few-Shot Text Classification with Contrastive Learning
• Title（参考訳）: コントラスト学習を用いたラベルテンプレートに基づくFew-Shotテキスト分類
• Authors: Guanghua Hou, Shuhui Cao, Deqiang Ouyang, Ning Wang,
• Abstract要約: 本稿では,単純かつ効果的なテキスト分類フレームワークを提案する。 ラベルテンプレートは入力文に埋め込まれ、クラスラベルの潜在値を完全に活用する。 教師付きコントラスト学習を用いて、サポートサンプルとクエリサンプル間の相互作用情報をモデル化する。
• 参考スコア（独自算出の注目度）: 7.964862748983985
• License:
• Abstract: As an algorithmic framework for learning to learn, meta-learning provides a promising solution for few-shot text classification. However, most existing research fail to give enough attention to class labels. Traditional basic framework building meta-learner based on prototype networks heavily relies on inter-class variance, and it is easily influenced by noise. To address these limitations, we proposes a simple and effective few-shot text classification framework. In particular, the corresponding label templates are embed into input sentences to fully utilize the potential value of class labels, guiding the pre-trained model to generate more discriminative text representations through the semantic information conveyed by labels. With the continuous influence of label semantics, supervised contrastive learning is utilized to model the interaction information between support samples and query samples. Furthermore, the averaging mechanism is replaced with an attention mechanism to highlight vital semantic information. To verify the proposed scheme, four typical datasets are employed to assess the performance of different methods. Experimental results demonstrate that our method achieves substantial performance enhancements and outperforms existing state-of-the-art models on few-shot text classification tasks.
• Abstract（参考訳）: 学習のためのアルゴリズム的なフレームワークとして、メタラーニングは、数ショットのテキスト分類に有望なソリューションを提供する。 しかし、既存の研究のほとんどは、クラスレーベルに十分な注意を払っていない。 プロトタイプネットワークに基づいてメタラーナーを構築する従来の基本的なフレームワークは、クラス間の分散に大きく依存しており、ノイズの影響を受けやすい。 これらの制約に対処するため,単純かつ効果的にテキスト分類を行うフレームワークを提案する。 特に、対応するラベルテンプレートを入力文に埋め込んで、クラスラベルの潜在価値を完全に活用し、ラベルが伝達する意味情報を通じて、事前訓練されたモデルによりより識別性の高いテキスト表現を生成する。 ラベルセマンティクスの継続的な影響により、教師付きコントラスト学習を用いて、サポートサンプルとクエリサンプル間の相互作用情報をモデル化する。 さらに、平均化機構を注意機構に置き換え、重要な意味情報を強調する。 提案手法を検証するために,異なる手法の性能を評価するために,4つの典型的なデータセットを用いた。 実験結果から,本手法は性能の大幅な向上を実現し,テキスト分類タスクにおける既存の最先端モデルよりも優れることが示された。

関連論文リスト

• Leveraging Annotator Disagreement for Text Classification [3.6625157427847963]
  テキスト分類では、データセットが複数のアノテータによってアノテートされた場合でも、モデルトレーニングに1つのマジョリティラベルのみを使用するのが一般的である。 本稿では,アノテータの不一致を利用してテキスト分類を行う3つの手法を提案する。
  論文  参考訳（メタデータ） (2024-09-26T06:46:53Z)
• XAI-CLASS: Explanation-Enhanced Text Classification with Extremely Weak Supervision [6.406111099707549]
  XAI-CLASSは、説明強化弱教師付きテキスト分類法である。 単語の正当性予測を補助タスクとして組み込む。 XAI-CLASSは、他の弱い教師付きテキスト分類法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2023-10-31T23:24:22Z)
• A Visual Interpretation-Based Self-Improved Classification System Using Virtual Adversarial Training [4.722922834127293]
  本稿では,仮想対人訓練(VAT)とBERTモデルを組み合わせた視覚的解釈に基づく自己改善型分類モデルを提案する。 具体的には、テキストの感情を分類するための分類器として、微調整のBERTモデルを用いる。 予測された感情分類ラベルは、半教師付き訓練方法によるスパム分類のための別のBERTの入力の一部として使用される。
  論文  参考訳（メタデータ） (2023-09-03T15:07:24Z)
• Description-Enhanced Label Embedding Contrastive Learning for Text Classification [65.01077813330559]
  モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計 テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。 ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
  論文  参考訳（メタデータ） (2023-06-15T02:19:34Z)
• Learning Context-aware Classifier for Semantic Segmentation [88.88198210948426]
  本稿では,文脈認識型分類器の学習を通じて文脈ヒントを利用する。 本手法はモデルに依存しないため,ジェネリックセグメンテーションモデルにも容易に適用できる。 無視できる追加パラメータと+2%の推論時間だけで、小型モデルと大型モデルの両方で十分な性能向上が達成されている。
  論文  参考訳（メタデータ） (2023-03-21T07:00:35Z)
• Resolving label uncertainty with implicit posterior models [71.62113762278963]
  本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。 異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
  論文  参考訳（メタデータ） (2022-02-28T18:09:44Z)
• CLLD: Contrastive Learning with Label Distance for Text Classificatioin [0.6299766708197883]
  コントラストクラスを学習するためのCLLD(Contrastive Learning with Label Distance)を提案する。 CLLDは、ラベルの割り当てに繋がる微妙な違いの中で、柔軟性を保証する。 実験の結果,学習したラベル距離は,クラス間の対立性を緩和することが示唆された。
  論文  参考訳（メタデータ） (2021-10-25T07:07:14Z)
• Multi-Label Image Classification with Contrastive Learning [57.47567461616912]
  コントラスト学習の直接適用は,複数ラベルの場合においてほとんど改善できないことを示す。 完全教師付き環境下でのコントラスト学習を用いたマルチラベル分類のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-24T15:00:47Z)
• Improving Classification through Weak Supervision in Context-specific Conversational Agent Development for Teacher Education [1.215785021723604]
  教育シナリオ固有の会話エージェントを開発するのに必要な労力は、時間を要する。 アノテーションをモデリングするための従来のアプローチは、何千もの例をラベル付けし、アノテーション間の合意と多数決を計算することに依存してきた。 本稿では,これらの問題に対処するために,多タスク弱監視手法とアクティブラーニングを組み合わせた手法を提案する。
  論文  参考訳（メタデータ） (2020-10-23T23:39:40Z)
• Dynamic Semantic Matching and Aggregation Network for Few-shot Intent Detection [69.2370349274216]
  利用可能な注釈付き発話が不足しているため、インテント検出は困難である。 セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。 本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
  論文  参考訳（メタデータ） (2020-10-06T05:16:38Z)
• Cooperative Bi-path Metric for Few-shot Learning [50.98891758059389]
  数発の分類問題の調査に2つの貢献をしている。 本稿では,従来の教師あり学習法において,ベースクラスで訓練されたシンプルで効果的なベースラインについて報告する。 本稿では, 基礎クラスと新しいクラス間の相関を利用して, 精度の向上を図る, 分類のための協調的二経路計量を提案する。
  論文  参考訳（メタデータ） (2020-08-10T11:28:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。