論文の概要: Applying LLMs to Active Learning: Towards Cost-Efficient Cross-Task Text Classification without Manually Labeled Data

• arxiv url: http://arxiv.org/abs/2502.16892v1
• Date: Mon, 24 Feb 2025 06:43:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:55:16.816310
• Title: Applying LLMs to Active Learning: Towards Cost-Efficient Cross-Task Text Classification without Manually Labeled Data
• Title（参考訳）: LLMをアクティブラーニングに適用する:手動ラベル付きデータ無しでコスト効率の良いクロスタスクテキスト分類を目指して
• Authors: Yejian Zhang, Shingo Takada,
• Abstract要約: 大規模言語モデル(LLM)をアクティブな学習フレームワークに統合する手法を提案する。 提案手法は,手動でラベル付けしたデータを必要としないクロスタスクテキスト分類性能を実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Machine learning-based classifiers have been used for text classification, such as sentiment analysis, news classification, and toxic comment classification. However, supervised machine learning models often require large amounts of labeled data for training, and manual annotation is both labor-intensive and requires domain-specific knowledge, leading to relatively high annotation costs. To address this issue, we propose an approach that integrates large language models (LLMs) into an active learning framework. Our approach combines the Robustly Optimized BERT Pretraining Approach (RoBERTa), Generative Pre-trained Transformer (GPT), and active learning, achieving high cross-task text classification performance without the need for any manually labeled data. Furthermore, compared to directly applying GPT for classification tasks, our approach retains over 93% of its classification performance while requiring only approximately 6% of the computational time and monetary cost, effectively balancing performance and resource efficiency. These findings provide new insights into the efficient utilization of LLMs and active learning algorithms in text classification tasks, paving the way for their broader application.
• Abstract（参考訳）: 機械学習に基づく分類器は、感情分析、ニュース分類、有毒なコメント分類などのテキスト分類に使われてきた。 しかし、教師付き機械学習モデルはトレーニングに大量のラベル付きデータを必要とすることが多く、マニュアルアノテーションは労働集約的であり、ドメイン固有の知識を必要とするため、アノテーションのコストは比較的高い。 この問題に対処するため,大規模言語モデル(LLM)をアクティブな学習フレームワークに統合する手法を提案する。 提案手法は,ロバスト最適化BERT事前学習手法 (RoBERTa), 生成事前学習変換器 (GPT) とアクティブラーニングを併用し,手動でラベル付けしたデータを必要としない高いクロスタスクテキスト分類性能を実現する。 さらに, 分類タスクにGPTを直接適用した場合と比較して, 計算時間と金銭コストの約6%しか必要とせず, 性能と資源効率のバランスをとることなく, 93%以上の分類性能を維持している。 これらの結果から,テキスト分類作業におけるLLMと能動的学習アルゴリズムの有効利用に関する新たな知見が得られた。

関連論文リスト

• Enhancing Text Classification through LLM-Driven Active Learning and Human Annotation [2.0411082897313984]
  本研究では,人間のアノテータと大規模言語モデルを統合する新しい手法を提案する。 提案フレームワークは, モデルの不確実性レベルに応じて, 人間のアノテーションとLLMの出力を統合する。 実験結果から, モデル精度の維持・改善を図りながら, データアノテーションに関連するコストを大幅に削減した。
  論文  参考訳（メタデータ） (2024-06-17T21:45:48Z)
• Towards Efficient Active Learning in NLP via Pretrained Representations [1.90365714903665]
  ファインチューニング大型言語モデル(LLM)は、今や幅広いアプリケーションにおけるテキスト分類の一般的なアプローチである。 能動学習ループ内でのLLMの事前学習表現を用いて,このプロセスを大幅に高速化する。 私たちの戦略は、アクティブな学習ループを通した微調整と同じようなパフォーマンスを得るが、計算コストは桁違いに低い。
  論文  参考訳（メタデータ） (2024-02-23T21:28:59Z)
• Learning to Rank for Active Learning via Multi-Task Bilevel Optimization [29.207101107965563]
  データ取得のための学習代理モデルを用いて、ラベルのないインスタンスのバッチを選択することを目的とした、アクティブな学習のための新しいアプローチを提案する。 このアプローチにおける重要な課題は、ユーティリティ関数の入力の一部を構成するデータの歴史が時間とともに増大するにつれて、よく一般化する取得関数を開発することである。
  論文  参考訳（メタデータ） (2023-10-25T22:50:09Z)
• Prefer to Classify: Improving Text Classifiers via Auxiliary Preference Learning [76.43827771613127]
  本稿では、このような補助データアノテーションの新しい代替手段として、入力テキストのペア間のタスク固有の嗜好について検討する。 本稿では、与えられた分類課題と補助的選好の両方を学ぶことの協調効果を享受できる、P2Cと呼ばれる新しいマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T04:04:47Z)
• Automated Few-shot Classification with Instruction-Finetuned Language Models [76.69064714392165]
  我々は、AuT-Fewが最先端の数ショット学習方法より優れていることを示す。 AuT-Few は RAFT few-shot ベンチマークにおいて,データセット間で最高のランク付け手法であることを示す。
  論文  参考訳（メタデータ） (2023-05-21T21:50:27Z)
• Active Learning for Abstractive Text Summarization [50.79416783266641]
  本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-09T10:33:14Z)
• An Efficient Active Learning Pipeline for Legal Text Classification [2.462514989381979]
  法律分野における事前学習言語モデルを用いて,能動的学習を効果的に活用するためのパイプラインを提案する。 我々は、知識蒸留を用いてモデルの埋め込みを意味論的意味のある空間に導く。 分類タスクに適応したContract-NLIとLEDGARベンチマークの実験により,本手法が標準AL戦略より優れていることが示された。
  論文  参考訳（メタデータ） (2022-11-15T13:07:02Z)
• Assisted Text Annotation Using Active Learning to Achieve High Quality with Little Effort [9.379650501033465]
  研究者は、手動の注釈だけで、大規模で高品質な注釈付きデータセットを作成できるツールを提案する。 我々は、アクティブラーニング(AL)アプローチと事前訓練された言語モデルを組み合わせて、アノテーションカテゴリを半自動で識別する。 予備的な結果から,ALを用いることで,複雑なフレームや微妙なフレームを正しく分類するアノテーションの数が大幅に削減されることがわかった。
  論文  参考訳（メタデータ） (2021-12-15T13:14:58Z)
• Knowledge-Aware Meta-learning for Low-Resource Text Classification [87.89624590579903]
  本稿では,低リソーステキスト分類問題について検討し,メタトレーニングとメタテストのギャップを埋める。 抽出した文固有知識グラフから学習した各文に対する追加表現を提案する。
  論文  参考訳（メタデータ） (2021-09-10T07:20:43Z)
• Semi-supervised Batch Active Learning via Bilevel Optimization [89.37476066973336]
  両レベル最適化によるデータ要約問題として,本手法を定式化する。 本手法は,ラベル付きサンプルがほとんど存在しない場合,レジーム内のキーワード検出タスクにおいて極めて有効であることを示す。
  論文  参考訳（メタデータ） (2020-10-19T16:53:24Z)
• Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
  我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。 本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。 我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
  論文  参考訳（メタデータ） (2020-10-05T17:52:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。