論文の概要: ActiveLLM: Large Language Model-based Active Learning for Textual Few-Shot Scenarios

• arxiv url: http://arxiv.org/abs/2405.10808v1
• Date: Fri, 17 May 2024 14:23:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 15:53:32.551272
• Title: ActiveLLM: Large Language Model-based Active Learning for Textual Few-Shot Scenarios
• Title（参考訳）: ActiveLLM: 大規模言語モデルに基づくテキスト・ショットシナリオのためのアクティブ・ラーニング
• Authors: Markus Bayer, Christian Reuter,
• Abstract要約: インスタンスの選択に大規模言語モデルを活用する,新たなアクティブラーニングアプローチであるActiveLLMを導入する。 我々は,ActiveLLMが,数ショットシナリオにおけるBERT分類器の分類性能を著しく向上することを示した。 この結果から,ActiveLLMは様々な学習環境において,モデル性能を向上させるための有望なソリューションである可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active learning is designed to minimize annotation efforts by prioritizing instances that most enhance learning. However, many active learning strategies struggle with a 'cold start' problem, needing substantial initial data to be effective. This limitation often reduces their utility for pre-trained models, which already perform well in few-shot scenarios. To address this, we introduce ActiveLLM, a novel active learning approach that leverages large language models such as GPT-4, Llama 3, and Mistral Large for selecting instances. We demonstrate that ActiveLLM significantly enhances the classification performance of BERT classifiers in few-shot scenarios, outperforming both traditional active learning methods and the few-shot learning method SetFit. Additionally, ActiveLLM can be extended to non-few-shot scenarios, allowing for iterative selections. In this way, ActiveLLM can even help other active learning strategies to overcome their cold start problem. Our results suggest that ActiveLLM offers a promising solution for improving model performance across various learning setups.
• Abstract（参考訳）: アクティブラーニングは、最も学習を高めるインスタンスを優先順位付けすることで、アノテーションの努力を最小限に抑えるように設計されている。 しかし、多くのアクティブな学習戦略は'コールドスタート'問題に苦しむ。 この制限により、事前訓練されたモデルの実用性が低下することが多く、既に数ショットのシナリオでうまく機能している。 そこで本研究では,GPT-4,Llama 3,Mistral Largeといった大規模言語モデルを利用してインスタンスの選択を行う,新しいアクティブラーニング手法であるActiveLLMを紹介する。 そこで我々は,ActiveLLMがBERT分類器の分類性能を大幅に向上させ,従来のアクティブラーニング手法と数ショットラーニング手法であるSetFitよりも優れていることを示した。 さらにActiveLLMは、フェールショット以外のシナリオにも拡張可能で、反復的な選択が可能である。 この方法では、ActiveLLMは、他のアクティブな学習戦略がコールドスタート問題を克服するのにも役立ちます。 この結果から,ActiveLLMは様々な学習環境において,モデル性能を向上させるための有望なソリューションである可能性が示唆された。

関連論文リスト

• Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
  最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。 その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。 過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• STENCIL: Submodular Mutual Information Based Weak Supervision for Cold-Start Active Learning [1.9116784879310025]
  STENCILは、クラス不均衡のコールドスタート設定において、一般的なアクティブな学習手法に対して、複数のテキスト分類データセットに対して10%-18%の精度で、レアクラスのF-1スコアを17%-40%の精度で改善する。 STENCILは、クラス不均衡のコールドスタート設定において、一般的なアクティブな学習方法よりも、複数のテキスト分類データセットに対して10%-18%、レアクラスのF-1スコアを17%-40%の精度で改善することを示した。
  論文  参考訳（メタデータ） (2024-02-21T01:54:58Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Multi-Modal Few-Shot Temporal Action Detection [157.96194484236483]
  Few-shot (FS) と Zero-shot (ZS) の学習は、時間的行動検出を新しいクラスに拡張するための2つの異なるアプローチである。 我々は、FS-TADとZS-TADの結婚として考えられるMMFS (Multi-modality few-shot) TAD問題を導入する。
  論文  参考訳（メタデータ） (2022-11-27T18:13:05Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Active Learning for Open-set Annotation [38.739845944840454]
  我々はLfOSAと呼ばれる新しいアクティブラーニングフレームワークを提案する。このフレームワークは、効果的なサンプリング戦略を用いて分類性能を高め、アノテーションのための既知のクラスからサンプルを正確に検出する。 実験結果から,提案手法は既知のクラスの選択精度を著しく向上し,アノテーションコストの低い分類精度を最先端の能動学習法よりも向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-01-18T06:11:51Z)
• ALLWAS: Active Learning on Language models in WASserstein space [13.35098213857704]
  医学などのいくつかの領域では、ラベル付きトレーニングデータの不足が一般的な問題である。 アクティブな学習は、ラベルの予算が限られている場合、パフォーマンスを高めるのに役立ちます。 言語モデルにおけるアクティブ学習のためのサブモジュール最適化と最適輸送に基づくサンプリング手法を用いた新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-09-03T18:11:07Z)
• Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
  自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。 我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。 また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-01-20T13:59:25Z)
• Bayesian active learning for production, a systematic study and a reusable library [85.32971950095742]
  本稿では,現在のアクティブラーニング技術の主な欠点について分析する。 実世界のデータセットの最も一般的な課題が深層能動学習プロセスに与える影響について,系統的研究を行った。 部分的不確実性サンプリングやより大きいクエリサイズといった,アクティブな学習ループを高速化する2つの手法を導出する。
  論文  参考訳（メタデータ） (2020-06-17T14:51:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。