論文の概要: Beyond prompting: Making Pre-trained Language Models Better Zero-shot Learners by Clustering Representations

• arxiv url: http://arxiv.org/abs/2210.16637v1
• Date: Sat, 29 Oct 2022 16:01:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 15:22:19.706827
• Title: Beyond prompting: Making Pre-trained Language Models Better Zero-shot Learners by Clustering Representations
• Title（参考訳）: プロンプトを超えて:クラスタリング表現によるゼロショット学習者の改善
• Authors: Yu Fei, Ping Nie, Zhao Meng, Roger Wattenhofer, Mrinmaya Sachan
• Abstract要約: 事前学習した言語モデルの埋め込み空間にテキストをクラスタリングすることで、ゼロショットテキスト分類を改善することができることを示す。 提案手法は, 即発的なゼロショット学習よりも平均20%絶対的な改善を実現している。
• 参考スコア（独自算出の注目度）: 24.3378487252621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has demonstrated that pre-trained language models (PLMs) are zero-shot learners. However, most existing zero-shot methods involve heavy human engineering or complicated self-training pipelines, hindering their application to new situations. In this work, we show that zero-shot text classification can be improved simply by clustering texts in the embedding spaces of PLMs. Specifically, we fit the unlabeled texts with a Bayesian Gaussian Mixture Model after initializing cluster positions and shapes using class names. Despite its simplicity, this approach achieves superior or comparable performance on both topic and sentiment classification datasets and outperforms prior works significantly on unbalanced datasets. We further explore the applicability of our clustering approach by evaluating it on 14 datasets with more diverse topics, text lengths, and numbers of classes. Our approach achieves an average of 20% absolute improvement over prompt-based zero-shot learning. Finally, we compare different PLM embedding spaces and find that texts are well-clustered by topics even if the PLM is not explicitly pre-trained to generate meaningful sentence embeddings. This work indicates that PLM embeddings can categorize texts without task-specific fine-tuning, thus providing a new way to analyze and utilize their knowledge and zero-shot learning ability.
• Abstract（参考訳）: 近年の研究では、事前学習言語モデル(PLM)がゼロショット学習者であることを実証している。 しかし、既存のゼロショット手法のほとんどは、人間のエンジニアリングや複雑な自己学習パイプラインを伴い、新しい状況への応用を妨げる。 本研究では, PLM の埋め込み空間におけるテキストのクラスタリングによって, ゼロショットテキスト分類を改善することができることを示す。 具体的には、クラスタの位置と形状をクラス名を用いて初期化した後、未ラベルのテキストをベイズガウス混合モデルに適合させる。 その単純さにもかかわらず、このアプローチはトピック分類と感情分類の両方で優れた、あるいは同等のパフォーマンスを達成する。 より多様なトピック、テキスト長、クラス数を持つ14のデータセット上で評価することで、クラスタリングアプローチの適用性をさらに探ります。 提案手法は, 即時ゼロショット学習よりも平均20%絶対的な改善を実現する。 最後に、異なる PLM 埋め込み空間を比較し、意味のある文章埋め込みを生成するために PLM が明示的に事前訓練されていない場合でも、テキストがトピックによって適切にクラスタリングされていることを確かめる。 この研究は、plm埋め込みがタスク固有の微調整なしにテキストを分類できることを示し、その知識を解析し活用する新しい方法とゼロショット学習能力を提供する。

関連論文リスト

• Text Clustering as Classification with LLMs [6.030435811868953]
  本研究では,大規模言語モデル(LLM)の文脈内学習能力を効果的に活用する,テキストクラスタリングのための新しいフレームワークを提案する。 そこで本研究では,テキストクラスタリングをLLMによる分類タスクに変換することを提案する。 我々のフレームワークは、最先端のクラスタリング手法に匹敵する、あるいは優れた性能を達成できることが実験的に証明されている。
  論文  参考訳（メタデータ） (2024-09-30T16:57:34Z)
• Learning to Prompt with Text Only Supervision for Vision-Language Models [107.282881515667]
  メソッドの1つのブランチは、視覚情報を使用してプロンプトを学習することでCLIPに適応する。 別のアプローチでは、大規模な言語モデルからクラス記述を生成することで、トレーニング不要の手法を利用する。 そこで本研究では,テキストデータのみを用いてプロンプトを学習することで,両ストリームの強みを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2024-01-04T18:59:49Z)
• Large Language Models Are Zero-Shot Text Classifiers [3.617781755808837]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の様々なサブカテゴリで広く使われている。 NLPでは、テキスト分類の問題はかなりの焦点が当てられているが、高価な計算コスト、時間消費、目に見えないクラスに対する堅牢なパフォーマンスに関連するいくつかの制限に直面している。 思考促進チェーン(CoT)の提案により、ステップ推論プロンプトを用いてゼロショット学習(ZSL)を用いてLLMを実装できる。
  論文  参考訳（メタデータ） (2023-12-02T06:33:23Z)
• BYOC: Personalized Few-Shot Classification with Co-Authored Class Descriptions [2.076173115539025]
  LLMを用いた少数ショットテキスト分類のための新しい手法を提案する。 わずかな例ではなく、LLMは各クラスの健全な特徴を記述して誘導される。 例、質問、回答は、分類プロンプトを形成するために要約される。
  論文  参考訳（メタデータ） (2023-10-09T19:37:38Z)
• Towards Realistic Zero-Shot Classification via Self Structural Semantic Alignment [53.2701026843921]
  大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。 本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。 本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-24T17:56:46Z)
• Zero-Shot Text Classification with Self-Training [8.68603153534916]
  ゼロショット分類器を最も確実な予測で微調整することで、幅広いテキスト分類タスクにおいて大幅な性能向上が期待できることを示す。 自己学習は、手元にあるタスクにゼロショットモデルを適用する。
  論文  参考訳（メタデータ） (2022-10-31T17:55:00Z)
• ZeroGen$^+$: Self-Guided High-Quality Data Generation in Efficient Zero-Shot Learning [97.2907428983142]
  ZeroGenは、純粋にPLMを使用してデータを生成し、タスク固有のアノテーションに頼ることなく、小さなモデルをトレーニングする。 金のデータを必要とせずに、サンプルごとの重み付けを学習できるノイズローバストなバイレベル再重み付けフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-25T11:38:48Z)
• Progressive Class Semantic Matching for Semi-supervised Text Classification [26.794533973357403]
  半教師付き学習と事前学習言語モデルとの結婚について検討する。 大規模な実験により,本手法がベースラインに顕著な改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-20T13:59:03Z)
• ZeroBERTo -- Leveraging Zero-Shot Text Classification by Topic Modeling [57.80052276304937]
  本稿では、教師なしクラスタリングのステップを利用して、分類タスクの前に圧縮されたデータ表現を得る新しいモデルZeroBERToを提案する。 また,ZeroBERToは,FolhaUOLデータセットのF1スコアにおいて,XLM-Rを約12%上回り,長い入力と実行時間の短縮に優れた性能を示した。
  論文  参考訳（メタデータ） (2022-01-04T20:08:17Z)
• Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
  ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。 本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
  論文  参考訳（メタデータ） (2021-10-04T08:51:36Z)
• CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action Recognition [52.66360172784038]
  各インスタンスを個別に最適化するのではなく,すべてのトレーニングサンプルを同時に考慮したクラスタリングモデルを提案する。 提案手法をCLASTERと呼び,すべての標準データセットの最先端性を常に改善することを確認する。
  論文  参考訳（メタデータ） (2021-01-18T12:46:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。