論文の概要: Leveraging Label Variation in Large Language Models for Zero-Shot Text
Classification
- arxiv url: http://arxiv.org/abs/2307.12973v1
- Date: Mon, 24 Jul 2023 17:49:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 13:11:45.027912
- Title: Leveraging Label Variation in Large Language Models for Zero-Shot Text
Classification
- Title(参考訳): ゼロショットテキスト分類のための大規模言語モデルにおけるラベル変動の活用
- Authors: Flor Miriam Plaza-del-Arco, Debora Nozza, Dirk Hovy
- Abstract要約: 大規模言語モデル(LLM)は、注釈や教師あり訓練を伴わないテキスト分類に最適である。
4言語にわたる5つのタスク(年齢、性別、話題、感情予測、ヘイトスピーチ検出)において、5つの最先端LPMを「アノテーション」として評価した。
単一モデルは、タスク内のすべてのタスク、言語、あるいはすべてのラベルを横断するものではない。しかし、人間のアノテータ用に設計された集約技術は、どの個々のモデルよりもはるかに優れている。
- 参考スコア(独自算出の注目度): 26.806043982510023
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The zero-shot learning capabilities of large language models (LLMs) make them
ideal for text classification without annotation or supervised training. Many
studies have shown impressive results across multiple tasks. While tasks, data,
and results differ widely, their similarities to human annotation can aid us in
tackling new tasks with minimal expenses. We evaluate using 5 state-of-the-art
LLMs as "annotators" on 5 different tasks (age, gender, topic, sentiment
prediction, and hate speech detection), across 4 languages: English, French,
German, and Spanish. No single model excels at all tasks, across languages, or
across all labels within a task. However, aggregation techniques designed for
human annotators perform substantially better than any one individual model.
Overall, though, LLMs do not rival even simple supervised models, so they do
not (yet) replace the need for human annotation. We also discuss the tradeoffs
between speed, accuracy, cost, and bias when it comes to aggregated model
labeling versus human annotation.
- Abstract(参考訳): 大きな言語モデル(LLM)のゼロショット学習能力は、アノテーションや教師あり訓練なしでテキスト分類に最適である。
多くの研究が複数のタスクで印象的な結果を示している。
タスク、データ、結果は大きく異なるが、ヒューマンアノテーションとの類似性は、最小限の費用で新しいタスクに取り組むのに役立つ。
日本語,フランス語,ドイツ語,スペイン語の4言語にまたがる5つのタスク(年齢,性別,話題,感情予測,ヘイトスピーチ検出)において,5つの最先端LPMを「アノテーション」として評価した。
単一のモデルは、タスク内のすべてのタスク、言語、あるいはすべてのラベルに対して排他的ではない。
しかし,アノテータ用に設計されたアグリゲーション技術は,どのモデルよりも大幅に優れている。
全体としては、LLMは単純な教師付きモデルでさえも競合しないので、人間のアノテーションを置き換えるものではない。
また、集約されたモデルラベリングと人間のアノテーションに関して、スピード、正確性、コスト、バイアスのトレードオフについても論じる。
関連論文リスト
- Leveraging Weakly Annotated Data for Hate Speech Detection in Code-Mixed
Hinglish: A Feasibility-Driven Transfer Learning Approach with Large Language
Models [0.0]
混合コード低リソース言語におけるヘイトスピーチ検出は、大規模言語モデルの使用が有益であることが証明された活発な問題領域である。
そこで本研究では,100件のYouTubeコメントのデータセットを作成した。
すべてのアプローチにおいて、双方向自動回帰変換器(BART)を用いたゼロショット分類と、生成事前学習変換器3(ChatGPT-3)を用いた少数ショットプロンプトが最適である。
論文 参考訳(メタデータ) (2024-03-04T15:27:49Z) - Customizing Language Model Responses with Contrastive In-Context Learning [7.342346948935483]
我々は、コントラスト的な例を使って、私たちの意図をよりよく記述するアプローチを提案する。
これには、本当の意図を示す肯定的な例と、LLMが避けたい特性を示す否定的な例が含まれます。
答を生成する前に、モデルにサンプルを分析して、避けるべきことを教える。
この推論ステップは、モデルにユーザのニーズを適切に表現し、より良い回答を生成するためのガイドを提供します。
論文 参考訳(メタデータ) (2024-01-30T19:13:12Z) - How Robust are LLMs to In-Context Majority Label Bias? [3.3577727874594654]
本研究では,Large Language Models (LLMs) における文脈内学習のロバスト性について検討する。
また,モデルサイズの影響と,モデルの堅牢性に寄与する指導プロンプトの豊かさを強調した。
論文 参考訳(メタデータ) (2023-12-27T12:20:12Z) - CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large
Language Models for Data Annotation [94.59630161324013]
本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。
我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
論文 参考訳(メタデータ) (2023-10-24T08:56:49Z) - Verbosity Bias in Preference Labeling by Large Language Models [10.242500241407466]
大規模言語モデル(LLM)の評価に伴うバイアスについて検討する。
冗長性バイアス( verbosity bias) -- LLM では,たとえ同じような品質を持つとしても,より冗長な回答を好む場合があります。
論文 参考訳(メタデータ) (2023-10-16T05:19:02Z) - Large Language Models Vote: Prompting for Rare Disease Identification [3.2063918860622795]
生成型大規模言語モデル(LLM)の性能向上のためのフレキシブルなプロンプト手法である Models-Vote Prompting (MVP) を提案する。
MVPは、多数のLCMに同じタスクを実行させ、結果のアウトプットに対して多数投票を行うことで機能する。
また、MIMIC-IV Data Use Agreement (DUA)に署名した人に利用可能な、FSLのための新しいレアな疾患データセットもリリースしている。
論文 参考訳(メタデータ) (2023-08-24T16:09:13Z) - Can Large Language Models Transform Computational Social Science? [79.62471267510963]
大規模言語モデル(LLM)は、(トレーニングデータなしで)ゼロショットで多くの言語処理タスクを実行することができる
この研究は、計算社会科学ツールとしてLLMを使用するためのロードマップを提供する。
論文 参考訳(メタデータ) (2023-04-12T17:33:28Z) - Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。
本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
論文 参考訳(メタデータ) (2021-10-04T08:51:36Z) - The Role of Global Labels in Few-Shot Classification and How to Infer
Them [55.64429518100676]
メタ学習では、ほとんどショット学習が中心的な問題であり、学習者は新しいタスクに迅速に適応しなければならない。
本稿では,メタラベル学習(MeLa)を提案する。メタラベル学習(MeLa)は,グローバルラベルを推論し,標準分類によるロバストな少数ショットモデルを得る新しいアルゴリズムである。
論文 参考訳(メタデータ) (2021-08-09T14:07:46Z) - TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot
classification [50.358839666165764]
本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。
具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
論文 参考訳(メタデータ) (2020-03-14T16:59:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。