論文の概要: CELDA: Leveraging Black-box Language Model as Enhanced Classifier without Labels

• arxiv url: http://arxiv.org/abs/2306.02693v1
• Date: Mon, 5 Jun 2023 08:35:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 16:11:48.693557
• Title: CELDA: Leveraging Black-box Language Model as Enhanced Classifier without Labels
• Title（参考訳）: CELDA:ラベルなしの強化分類器としてブラックボックス言語モデルを活用する
• Authors: Hyunsoo Cho, Youna Kim, Sang-goo Lee
• Abstract要約: クラスタリング強化線形識別分析(Linar Discriminative Analysis)は、非常に弱いスーパービジョン信号を用いてテキスト分類精度を向上させる新しい手法である。 我々のフレームワークは、LMモデルやデータラベルの重みや勾配にアクセスすることなく、正確な決定境界を描画する。
• 参考スコア（独自算出の注目度）: 14.285609493077965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Utilizing language models (LMs) without internal access is becoming an attractive paradigm in the field of NLP as many cutting-edge LMs are released through APIs and boast a massive scale. The de-facto method in this type of black-box scenario is known as prompting, which has shown progressive performance enhancements in situations where data labels are scarce or unavailable. Despite their efficacy, they still fall short in comparison to fully supervised counterparts and are generally brittle to slight modifications. In this paper, we propose Clustering-enhanced Linear Discriminative Analysis, a novel approach that improves the text classification accuracy with a very weak-supervision signal (i.e., name of the labels). Our framework draws a precise decision boundary without accessing weights or gradients of the LM model or data labels. The core ideas of CELDA are twofold: (1) extracting a refined pseudo-labeled dataset from an unlabeled dataset, and (2) training a lightweight and robust model on the top of LM, which learns an accurate decision boundary from an extracted noisy dataset. Throughout in-depth investigations on various datasets, we demonstrated that CELDA reaches new state-of-the-art in weakly-supervised text classification and narrows the gap with a fully-supervised model. Additionally, our proposed methodology can be applied universally to any LM and has the potential to scale to larger models, making it a more viable option for utilizing large LMs.
• Abstract（参考訳）: 言語モデル(LM)を内部アクセスなしで利用することは、多くの最先端のLMがAPIを通じてリリースされ、大規模であるため、NLPの分野で魅力的なパラダイムになりつつある。 このタイプのブラックボックスシナリオにおけるデファクトメソッドはプロンプトと呼ばれ、データラベルが不足あるいは利用できない状況において、段階的なパフォーマンス向上を示す。 効果はあるものの、完全に監督されたものと比べれば依然として不足しており、概して若干の修正に弱い。 本稿では,非常に弱いスーパービジョン信号(すなわちラベル名)を用いて,テキスト分類精度を向上させる新しい手法であるクラスタリングエンハンスド線形判別解析を提案する。 我々のフレームワークは、LMモデルやデータラベルの重みや勾配にアクセスすることなく、正確な決定境界を描画する。 CELDAの中核となる考え方は2つある: 1) ラベルなしデータセットから洗練された擬似ラベル付きデータセットを抽出し、(2) LMの上部に軽量で堅牢なモデルを訓練し、抽出されたノイズのあるデータセットから正確な決定境界を学習する。 各種データセットの詳細な調査を通じて、弱い教師付きテキスト分類においてCELDAが新たな最先端に達し、完全に教師付きモデルでギャップを狭めることを示した。 さらに,提案手法は任意のLMに対して普遍的に適用可能であり,大規模モデルにスケールできる可能性があり,大規模なLMを利用するための選択肢として有効である。

関連論文リスト

• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance [21.926934384262594]
  大きな言語モデル(LLM)は、アノテーションプロセスを強化する新しい機会を提供する。 合意、ラベルの品質、効率の点で、専門家、クラウドソース、LLMベースのアノテーションを比較します。 以上の結果から,ラベルエラーがかなり多く,修正されると,報告されたモデル性能が大幅に上向きに変化することが判明した。
  論文  参考訳（メタデータ） (2024-10-24T16:27:03Z)
• Permissive Information-Flow Analysis for Large Language Models [21.563132267220073]
  大規模言語モデル(LLM)は、大規模ソフトウェアシステムのコモディティコンポーネントになりつつある。 これは自然なセキュリティとプライバシの問題を引き起こします。あるコンポーネントから取得した有毒なデータは、モデルの振る舞いを変更し、システム全体を侵害します。 LLMクエリを通じて情報フローラベルを伝搬する新しい,より寛容な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T00:25:43Z)
• Zero-to-Strong Generalization: Eliciting Strong Capabilities of Large Language Models Iteratively without Gold Labels [75.77877889764073]
  大規模言語モデル(LLM)は,ゴールドラベルを用いた教師付き微調整やテキスト内学習を通じて,顕著な性能を示した。 本研究では,ラベルのないデータのみを利用することで,強力なモデル機能を実現することができるかどうかを考察する。 ゼロ・ツー・ストロング一般化と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-09-19T02:59:44Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• Data Augmentation For Label Enhancement [45.3351754830424]
  ラベル拡張(LE)が出現し、論理ラベルからラベル分布(LD)を回復する。 本稿では,低次元の特徴空間に原データを投影する新しいLE次元削減手法を提案する。 その結果,提案手法は,他の5つの比較手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-03-21T09:36:58Z)
• Ground Truth Inference for Weakly Supervised Entity Matching [76.6732856489872]
  弱監督タスクのための単純だが強力なラベル付けモデルを提案する。 次に、エンティティマッチングのタスクに特化してラベルモデルを調整します。 その結果,従来の手法よりもF1スコアが9%高い結果が得られた。
  論文  参考訳（メタデータ） (2022-11-13T17:57:07Z)
• L2B: Learning to Bootstrap Robust Models for Combating Label Noise [52.02335367411447]
  本稿では,Learning to Bootstrap (L2B) という,シンプルで効果的な手法を提案する。 モデルは、誤った擬似ラベルの影響を受けずに、自身の予測を使ってブートストラップを行うことができる。 これは、実際の観測されたラベルと生成されたラベル間の重みを動的に調整し、メタラーニングを通じて異なるサンプル間の重みを動的に調整することで実現される。
  論文  参考訳（メタデータ） (2022-02-09T05:57:08Z)
• Training image classifiers using Semi-Weak Label Data [26.04162590798731]
  多重インスタンス学習(MIL)では、弱ラベルがバッグレベルで提供され、存在/存在情報のみが知られる。 本稿では,この問題を軽減するため,新たな半弱ラベル学習パラダイムを提案する。 半弱ラベルから学習する問題に対処する2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-19T03:06:07Z)
• An Empirical Study on Large-Scale Multi-Label Text Classification Including Few and Zero-Shot Labels [49.036212158261215]
  大規模なMulti-label Text Classification (LMTC) は、幅広い自然言語処理 (NLP) アプリケーションを持つ。 Label-Wise Attention Networks (LWANs) を用いた最新のLMTCモデル 確率的ラベル木(PLT)に基づく階層的手法がLWANより優れていることを示す。 BERTとLWANを組み合わせた最先端手法を提案する。
  論文  参考訳（メタデータ） (2020-10-04T18:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。