論文の概要: Incubating Text Classifiers Following User Instruction with Nothing but LLM

• arxiv url: http://arxiv.org/abs/2404.10877v2
• Date: Mon, 20 May 2024 07:42:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 22:31:13.230882
• Title: Incubating Text Classifiers Following User Instruction with Nothing but LLM
• Title（参考訳）: LLM以外のインストラクションを伴わないインストラクションによるテキスト分類器のインキュベーション
• Authors: Letian Peng, Jingbo Shang,
• Abstract要約: 任意のクラス定義(ユーザ・インストラクション)を与えられたテキスト分類データを生成するフレームワークを提案する。 提案したインキュベータは、複雑で相互に依存したクラスを処理できる最初のフレームワークです。
• 参考スコア（独自算出の注目度）: 37.92922713921964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we aim to generate text classification data given arbitrary class definitions (i.e., user instruction), so one can train a small text classifier without any human annotation or raw corpus. Compared with pioneer attempts, our proposed Incubator is the first framework that can handle complicated and even mutually dependent classes (e.g., "TED Talk given by Educator" and "Other"). Specifically, Incubator is an LLM firstly tuned on the instruction-to-data mappings that we obtained from classification datasets and descriptions on HuggingFace together with in-context augmentation by GPT-4. We then refine Incubator by learning on the cluster centers of semantic textual embeddings to emphasize the uniformity and semantic diversity in generations. We compare Incubator on various classification tasks with strong baselines such as direct LLM-based inference and training data generation by prompt engineering. Experiments show Incubator is able to (1) perform well on traditional benchmarks, (2) take label dependency and user preference into consideration, and (3) enable logical text mining by incubating multiple classifiers.
• Abstract（参考訳）: 本稿では,任意のクラス定義(ユーザ・インストラクション)を与えられたテキスト分類データを生成することを目的としており,人間のアノテーションや生のコーパスを使わずに,小さなテキスト分類器を訓練することができる。 先駆的な試みと比較して、提案したインキュベータは、複雑で相互に依存したクラス(例えば、Eduucatorから提供されるTED Talkや他)を処理できる最初のフレームワークです。 具体的には,まず,HuggingFace の分類データセットと記述から得られた命令-データマッピングを,GPT-4 によるテキスト内拡張とともに調整した LLM である。 次に、インキュベーターを意味的テキスト埋め込みのクラスタ中心で学習し、世代ごとの統一性と意味的多様性を強調する。 各種分類タスクにおけるインキュベータと,直接LLMに基づく推論や,迅速なエンジニアリングによるトレーニングデータ生成などの強力なベースラインを比較した。 実験では,(1)従来のベンチマークでうまく動作し,(2)ラベル依存やユーザの好みを考慮に入れ,(3)複数の分類器をインキュベートすることで論理的なテキストマイニングを可能にする。

関連論文リスト

• Text Clustering as Classification with LLMs [6.030435811868953]
  本研究では,大規模言語モデル(LLM)の文脈内学習能力を効果的に活用する,テキストクラスタリングのための新しいフレームワークを提案する。 そこで本研究では,テキストクラスタリングをLLMによる分類タスクに変換することを提案する。 我々のフレームワークは、最先端のクラスタリング手法に匹敵する、あるいは優れた性能を達成できることが実験的に証明されている。
  論文  参考訳（メタデータ） (2024-09-30T16:57:34Z)
• Knowledge Distillation in Automated Annotation: Supervised Text Classification with LLM-Generated Training Labels [0.0]
  大規模言語モデル(LLMs)のサロゲート学習ラベルによる人為的なトレーニングデータの拡張や置き換えの可能性を評価する。 我々は,最近のCSS記事から英語テキスト分類データセットの新たなコーパスをハイインパクトジャーナルに採用している。 各タスクについて,GPT-4ラベルを用いて微調整した教師付き分類器と,人間のアノテーションで微調整した分類器と,数ショットのインコンテキスト学習によるGPT-4とMistral-7Bのラベルを比較した。 以上の結果から, LLMラベルを微調整した教師付き分類モデルは, 人間のラベルを微調整したモデルと相容れないことが示唆された。
  論文  参考訳（メタデータ） (2024-06-25T15:20:25Z)
• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• TnT-LLM: Text Mining at Scale with Large Language Models [24.731544646232962]
  大規模言語モデル(LLM)は、最小限の努力でエンドツーエンドのラベル生成と割り当てのプロセスを自動化する。 我々は,TnT-LLMが最先端のベースラインと比較した場合,より正確で関連性の高いラベルを生成することを示す。 また、現実のアプリケーションにおける大規模テキストマイニングにLLMを使うことの課題と機会に関する実践的経験と洞察を共有します。
  論文  参考訳（メタデータ） (2024-03-18T18:45:28Z)
• Towards Realistic Zero-Shot Classification via Self Structural Semantic Alignment [53.2701026843921]
  大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。 本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。 本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-24T17:56:46Z)
• Distinguishability Calibration to In-Context Learning [31.375797763897104]
  そこで本研究では, PLM符号化埋め込みを新しい距離空間にマッピングすることで, 埋め込みの識別性を保証する手法を提案する。 また、双曲的埋め込みの利点を生かして、粒度の細かいクラス関連トークン埋め込み間の階層的関係を捉える。
  論文  参考訳（メタデータ） (2023-02-13T09:15:00Z)
• LeQua@CLEF2022: Learning to Quantify [76.22817970624875]
  LeQua 2022は、テキストデータセットで'を定量化する方法を評価するための新しい実験室である。 本研究の目的は、バイナリ設定とシングルラベルのマルチクラス設定の両方において、学習方法の比較評価のための設定を提供することである。
  論文  参考訳（メタデータ） (2021-11-22T14:54:20Z)
• Class Token and Knowledge Distillation for Multi-head Self-Attention Speaker Verification Systems [20.55054374525828]
  本稿では,ディープニューラルネットワーク(DNN)に基づく話者検証システムの性能向上のための3つの新しいアプローチについて検討する。 まず,クラストークンと呼ばれる学習可能なベクトルを用いて,平均的なグローバルプール機構を置換し,埋め込みを抽出する手法を提案する。 第2に,KD(Knowledge Distillation)哲学を用いて教師と学生のペアのネットワークを訓練するための蒸留表現トークンを追加した。
  論文  参考訳（メタデータ） (2021-11-06T09:47:05Z)
• Binary Classification from Multiple Unlabeled Datasets via Surrogate Set Classification [94.55805516167369]
  我々は m 個の U 集合を $mge2$ で二進分類する新しい手法を提案する。 我々のキーとなる考え方は、サロゲート集合分類(SSC)と呼ばれる補助的分類タスクを考えることである。
  論文  参考訳（メタデータ） (2021-02-01T07:36:38Z)
• Learning and Evaluating Representations for Deep One-class Classification [59.095144932794646]
  ディープワンクラス分類のための2段階フレームワークを提案する。 まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。 実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-11-04T23:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。