論文の概要: CELDA: Leveraging Black-box Language Model as Enhanced Classifier
without Labels
- arxiv url: http://arxiv.org/abs/2306.02693v2
- Date: Fri, 9 Jun 2023 05:16:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-12 16:14:48.860776
- Title: CELDA: Leveraging Black-box Language Model as Enhanced Classifier
without Labels
- Title(参考訳): CELDA:ラベルなしの強化分類器としてブラックボックス言語モデルを活用する
- Authors: Hyunsoo Cho, Youna Kim, Sang-goo Lee
- Abstract要約: クラスタリング強化線形識別分析(Linar Discriminative Analysis)は、非常に弱いスーパービジョン信号を用いてテキスト分類精度を向上させる新しい手法である。
我々のフレームワークは、LMモデルやデータラベルの重みや勾配にアクセスすることなく、正確な決定境界を描画する。
- 参考スコア(独自算出の注目度): 14.285609493077965
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Utilizing language models (LMs) without internal access is becoming an
attractive paradigm in the field of NLP as many cutting-edge LMs are released
through APIs and boast a massive scale. The de-facto method in this type of
black-box scenario is known as prompting, which has shown progressive
performance enhancements in situations where data labels are scarce or
unavailable. Despite their efficacy, they still fall short in comparison to
fully supervised counterparts and are generally brittle to slight
modifications. In this paper, we propose Clustering-enhanced Linear
Discriminative Analysis, a novel approach that improves the text classification
accuracy with a very weak-supervision signal (i.e., name of the labels). Our
framework draws a precise decision boundary without accessing weights or
gradients of the LM model or data labels. The core ideas of CELDA are twofold:
(1) extracting a refined pseudo-labeled dataset from an unlabeled dataset, and
(2) training a lightweight and robust model on the top of LM, which learns an
accurate decision boundary from an extracted noisy dataset. Throughout in-depth
investigations on various datasets, we demonstrated that CELDA reaches new
state-of-the-art in weakly-supervised text classification and narrows the gap
with a fully-supervised model. Additionally, our proposed methodology can be
applied universally to any LM and has the potential to scale to larger models,
making it a more viable option for utilizing large LMs.
- Abstract(参考訳): 言語モデル(LM)を内部アクセスなしで利用することは、多くの最先端のLMがAPIを通じてリリースされ、大規模であるため、NLPの分野で魅力的なパラダイムになりつつある。
このタイプのブラックボックスシナリオにおけるデファクトメソッドはプロンプトと呼ばれ、データラベルが不足あるいは利用できない状況において、段階的なパフォーマンス向上を示す。
効果はあるものの、完全に監督されたものと比べれば依然として不足しており、概して若干の修正に弱い。
本稿では,非常に弱いスーパービジョン信号(すなわちラベル名)を用いて,テキスト分類精度を向上させる新しい手法であるクラスタリングエンハンスド線形判別解析を提案する。
我々のフレームワークは、LMモデルやデータラベルの重みや勾配にアクセスすることなく、正確な決定境界を描画する。
CELDAの中核となる考え方は2つある: 1) ラベルなしデータセットから洗練された擬似ラベル付きデータセットを抽出し、(2) LMの上部に軽量で堅牢なモデルを訓練し、抽出されたノイズのあるデータセットから正確な決定境界を学習する。
各種データセットの詳細な調査を通じて、弱い教師付きテキスト分類においてCELDAが新たな最先端に達し、完全に教師付きモデルでギャップを狭めることを示した。
さらに,提案手法は任意のLMに対して普遍的に適用可能であり,大規模モデルにスケールできる可能性があり,大規模なLMを利用するための選択肢として有効である。
関連論文リスト
- ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs [60.81649785463651]
ExaRanker-Openを導入し、オープンソース言語モデルを適用して、説明を生成する。
以上の結果から,LLMのサイズが大きくなるにつれて,説明の組み込みが神経ランク付けを継続的に促進することが明らかとなった。
論文 参考訳(メタデータ) (2024-02-09T11:23:14Z) - ANLS* -- A Universal Document Processing Metric for Generative Large
Language Models [43.387660692869915]
本稿ではANLS*と呼ばれる生成モデルを評価するための新しい指標を提案する。
ANLS*メトリックは、既存のANLSメトリクスをドロップ・イン・リプレースとして拡張し、以前報告されたANLSスコアと互換性がある。
また、SFTと呼ばれる文書のプロンプトを生成する新しい手法を、LATINなどの他のプロンプト技術に対してベンチマークする。
論文 参考訳(メタデータ) (2024-02-06T09:50:08Z) - Label-Retrieval-Augmented Diffusion Models for Learning from Noisy
Labels [61.97359362447732]
ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。
本稿では,生成モデルの観点からラベルノイズ問題を再構成する。
我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
論文 参考訳(メタデータ) (2023-05-31T03:01:36Z) - Data Augmentation For Label Enhancement [45.3351754830424]
ラベル拡張(LE)が出現し、論理ラベルからラベル分布(LD)を回復する。
本稿では,低次元の特徴空間に原データを投影する新しいLE次元削減手法を提案する。
その結果,提案手法は,他の5つの比較手法よりも優れていた。
論文 参考訳(メタデータ) (2023-03-21T09:36:58Z) - Ground Truth Inference for Weakly Supervised Entity Matching [76.6732856489872]
弱監督タスクのための単純だが強力なラベル付けモデルを提案する。
次に、エンティティマッチングのタスクに特化してラベルモデルを調整します。
その結果,従来の手法よりもF1スコアが9%高い結果が得られた。
論文 参考訳(メタデータ) (2022-11-13T17:57:07Z) - Improving Contrastive Learning on Imbalanced Seed Data via Open-World
Sampling [96.8742582581744]
我々は、Model-Aware K-center (MAK)と呼ばれるオープンワールドなラベルなしデータサンプリングフレームワークを提案する。
MAKは、尾性、近接性、多様性の3つの単純な原則に従う。
我々はMAKが学習した機能の全体的な表現品質とクラスバランス性の両方を継続的に改善できることを実証した。
論文 参考訳(メタデータ) (2021-11-01T15:09:41Z) - Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。
本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
論文 参考訳(メタデータ) (2021-10-04T08:51:36Z) - Training Dynamic based data filtering may not work for NLP datasets [0.0]
NLPデータセットにおける誤り例を識別するために,AUM(Area Under the Margin)測定値の適用性を検討した。
我々は,NLPデータセットのAUM測定値を用いて誤ラベル付きサンプルをフィルタリングできることを発見したが,同時に,かなりの数の正確なラベル付きポイントを除去した。
論文 参考訳(メタデータ) (2021-09-19T18:50:45Z) - Training image classifiers using Semi-Weak Label Data [26.04162590798731]
多重インスタンス学習(MIL)では、弱ラベルがバッグレベルで提供され、存在/存在情報のみが知られる。
本稿では,この問題を軽減するため,新たな半弱ラベル学習パラダイムを提案する。
半弱ラベルから学習する問題に対処する2段階のフレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-19T03:06:07Z) - An Empirical Study on Large-Scale Multi-Label Text Classification
Including Few and Zero-Shot Labels [49.036212158261215]
大規模なMulti-label Text Classification (LMTC) は、幅広い自然言語処理 (NLP) アプリケーションを持つ。
Label-Wise Attention Networks (LWANs) を用いた最新のLMTCモデル
確率的ラベル木(PLT)に基づく階層的手法がLWANより優れていることを示す。
BERTとLWANを組み合わせた最先端手法を提案する。
論文 参考訳(メタデータ) (2020-10-04T18:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。