論文の概要: AnnoLLM: Making Large Language Models to Be Better Crowdsourced
Annotators
- arxiv url: http://arxiv.org/abs/2303.16854v1
- Date: Wed, 29 Mar 2023 17:03:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-30 13:55:31.015780
- Title: AnnoLLM: Making Large Language Models to Be Better Crowdsourced
Annotators
- Title(参考訳): annollm: クラウドソースアノテータになるような大規模言語モデルの構築
- Authors: Xingwei He, Zhenghao Lin, Yeyun Gong, A-Long Jin, Hang Zhang, Chen
Lin, Jian Jiao, Siu Ming Yiu, Nan Duan, Weizhu Chen
- Abstract要約: GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。
LLMをより良いアノテータにするために、我々は2段階のアプローチ「説明-then-annotate」を提案する。
- 参考スコア(独自算出の注目度): 64.04060110775062
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many natural language processing (NLP) tasks rely on labeled data to train
machine learning models to achieve high performance. However, data annotation
can be a time-consuming and expensive process, especially when the task
involves a large amount of data or requires specialized domains. Recently,
GPT-3.5 series models have demonstrated remarkable few-shot and zero-shot
ability across various NLP tasks. In this paper, we first claim that large
language models (LLMs), such as GPT-3.5, can serve as an excellent crowdsourced
annotator by providing them with sufficient guidance and demonstrated examples.
To make LLMs to be better annotators, we propose a two-step approach,
'explain-then-annotate'. To be more precise, we begin by creating prompts for
every demonstrated example, which we subsequently utilize to prompt a LLM to
provide an explanation for why the specific ground truth answer/label was
chosen for that particular example. Following this, we construct the few-shot
chain-of-thought prompt with the self-generated explanation and employ it to
annotate the unlabeled data. We conduct experiments on three tasks, including
user input and keyword relevance assessment, BoolQ and WiC. The annotation
results from GPT-3.5 surpasses those from crowdsourced annotation for user
input and keyword relevance assessment. Additionally, for the other two tasks,
GPT-3.5 achieves results that are comparable to those obtained through
crowdsourced annotation.
- Abstract(参考訳): 多くの自然言語処理(NLP)タスクは、高性能を達成するために機械学習モデルをトレーニングするためにラベル付きデータに依存している。
しかし、特にタスクが大量のデータや特別なドメインを必要とする場合、データアノテーションは時間がかかり、コストがかかるプロセスになり得る。
近年、gpt-3.5シリーズは様々なnlpタスクにおいて顕著な少数ショットとゼロショットの能力を示している。
本稿では,GPT-3.5のような大規模言語モデル(LLM)が,十分なガイダンスを提供し,実例を示すことによって,優れたクラウドソースアノテータとして機能することを示す。
LLMをより良いアノテータにするために、我々は2段階のアプローチである「説明-then-annotate」を提案する。
より正確に言うと、まず実例ごとにプロンプトを作成し、次に LLM にその具体例に具体的真理回答/ラベルが選ばれた理由を説明するために活用する。
これに続いて、自己生成的説明を伴う数発の連鎖プロンプトを構築し、未ラベルデータに注釈をつける。
ユーザ入力とキーワード関連性評価,BoolQ,WiCの3つのタスクについて実験を行った。
GPT-3.5のアノテーションは、ユーザ入力とキーワード関連性評価のためのクラウドソースアノテーションよりも優れている。
さらに、他の2つのタスクでは、GPT-3.5はクラウドソースアノテーションで得られたものと同等の結果が得られる。
関連論文リスト
- Leveraging Weakly Annotated Data for Hate Speech Detection in Code-Mixed
Hinglish: A Feasibility-Driven Transfer Learning Approach with Large Language
Models [0.0]
混合コード低リソース言語におけるヘイトスピーチ検出は、大規模言語モデルの使用が有益であることが証明された活発な問題領域である。
そこで本研究では,100件のYouTubeコメントのデータセットを作成した。
すべてのアプローチにおいて、双方向自動回帰変換器(BART)を用いたゼロショット分類と、生成事前学習変換器3(ChatGPT-3)を用いた少数ショットプロンプトが最適である。
論文 参考訳(メタデータ) (2024-03-04T15:27:49Z) - Active Learning for NLP with Large Language Models [4.1967870107078395]
アクティブラーニング(AL)テクニックは、可能な限り少数のサンプルをラベル付けして、合理的あるいは同様の結果に到達することができる。
本研究では,3つのデータセットにサンプルをラベル付けするためにLLM(Large Language Models)を使用することの正確さとコストについて検討する。
論文 参考訳(メタデータ) (2024-01-14T21:00:52Z) - LLMaAA: Making Large Language Models as Active Annotators [32.57011151031332]
本稿では,大規模な言語モデルをアノテータとして利用し,それをアクティブな学習ループに配置して,アノテートを効率的に行うLLMaAAを提案する。
我々は、エンティティ認識と関係抽出という、2つの古典的NLPタスクの実験と分析を行う。
LLMaAAでは、LLM生成ラベルからトレーニングされたタスク固有のモデルが、数百の注釈付きサンプルで教師より優れている。
論文 参考訳(メタデータ) (2023-10-30T14:54:15Z) - EXnet: Efficient In-context Learning for Data-less Text classification [0.0]
本報告では,実例数に制限を加えることなく,文脈内学習を実現するためのモデルであるEXnetを提案する。
テキスト内学習はタスクの精度を高めるための効果的な手法であり,実例を提供することでタスク間の一般化が促進される,と我々は主張する。
大規模な実験により、我々の最小のモデル(15Mパラメータ)でさえ、いくつかの目に見えない分類タスクや領域に一般化できることが示される。
論文 参考訳(メタデータ) (2023-05-24T01:40:57Z) - Using Large Language Models to Generate Engaging Captions for Data
Visualizations [51.98253121636079]
大規模言語モデル(LLM)は、高度なディープラーニング技術を用いて人間のような散文を生成する。
主な課題は、プロンプトエンジニアリングと呼ばれるLLMの最も効果的なプロンプトを設計することである。
我々は,LLM GPT-3を用いた最初の実験について報告し,いくつかの有望な結果を得た。
論文 参考訳(メタデータ) (2022-12-27T23:56:57Z) - Is GPT-3 a Good Data Annotator? [30.9559541574174]
GPT-3はOpenAIが開発した大規模言語モデルである。
本稿では,データアノテータとしてのGPT-3の性能を評価する。
論文 参考訳(メタデータ) (2022-12-20T17:28:41Z) - Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。
IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
論文 参考訳(メタデータ) (2022-06-04T10:08:50Z) - Reframing Instructional Prompts to GPTk's Language [72.69833640335519]
本稿では,モデル設計者が言語モデルに対して効果的なプロンプトを作成するためのリフレーミング手法を提案する。
その結果、リフレーミングはサンプルの複雑さを減らしながら、数ショットの学習性能を14%向上させることがわかった。
GPT3では、大規模なデータセットでモデルやプロンプトをチューニングすることは不可能である。
論文 参考訳(メタデータ) (2021-09-16T09:44:43Z) - Annotation Curricula to Implicitly Train Non-Expert Annotators [56.67768938052715]
自発的な研究は、しばしば、アノテータがタスク、そのアノテーションスキーム、およびデータドメインに精通することを要求する。
これは最初は圧倒的であり、精神的に課税され、結果として生じるアノテーションにエラーを誘導する。
暗黙的にアノテータを訓練する新しい手法であるアノテーションキュリキュラを提案する。
論文 参考訳(メタデータ) (2021-06-04T09:48:28Z) - Language Models are Few-Shot Learners [61.36677350504291]
言語モデルのスケールアップにより、タスクに依存しない、少数ショットのパフォーマンスが大幅に向上することを示す。
我々は、1750億のパラメータを持つ自動回帰言語モデルであるGPT-3を訓練し、その性能を数ショットでテストする。
GPT-3は、翻訳、質問応答、クローズタスクを含む多くのNLPデータセットで高いパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-05-28T17:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。