論文の概要: Is GPT-3 a Good Data Annotator?

• arxiv url: http://arxiv.org/abs/2212.10450v2
• Date: Wed, 14 Jun 2023 16:11:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-17 02:45:12.003106
• Title: Is GPT-3 a Good Data Annotator?
• Title（参考訳）: GPT-3は良いデータアノテーションか?
• Authors: Bosheng Ding, Chengwei Qin, Linlin Liu, Yew Ken Chia, Shafiq Joty, Boyang Li, Lidong Bing
• Abstract要約: GPT-3はOpenAIが開発した大規模言語モデルである。 本稿では,データアノテータとしてのGPT-3の性能を評価する。
• 参考スコア（独自算出の注目度）: 30.9559541574174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data annotation is the process of labeling data that could be used to train machine learning models. Having high-quality annotation is crucial, as it allows the model to learn the relationship between the input data and the desired output. GPT-3, a large-scale language model developed by OpenAI, has demonstrated impressive zero- and few-shot performance on a wide range of NLP tasks. It is therefore natural to wonder whether it can be used to effectively annotate data for NLP tasks. In this paper, we evaluate the performance of GPT-3 as a data annotator by comparing it with traditional data annotation methods and analyzing its output on a range of tasks. Through this analysis, we aim to provide insight into the potential of GPT-3 as a general-purpose data annotator in NLP.
• Abstract（参考訳）: データアノテーションは、機械学習モデルのトレーニングに使用できるデータのラベル付けプロセスである。 モデルが入力データと所望の出力の関係を学習できるようにするため、高品質なアノテーションを持つことが不可欠である。 OpenAIが開発した大規模言語モデルであるGPT-3は、広範囲なNLPタスクにおいて、ゼロショットと少数ショットのパフォーマンスを誇示している。 したがって、NLPタスクのデータに効果的にアノテートできるかどうか疑問に思うのが自然である。 本稿では,GPT-3を従来のデータアノテーション手法と比較し,その出力を様々なタスクで分析することにより,データアノテータとしての性能を評価する。 そこで本研究では,NLPにおける汎用データアノテータとしてのGPT-3の可能性について考察する。

関連論文リスト

• CYGENT: A cybersecurity conversational agent with log summarization powered by GPT-3 [0.08192907805418582]
  CYGENTは、GPT-3.5ターボモデルを搭載した対話エージェントフレームワークである。 サイバーセキュリティ情報を提供し、アップロードされたログファイルを分析し、要約し、特定のイベントを検出し、必須の指示を与える。
  論文  参考訳（メタデータ） (2024-03-25T20:17:04Z)
• Does fine-tuning GPT-3 with the OpenAI API leak personally-identifiable information? [1.7590081165362783]
  OpenAIの微調整APIを用いて,GPT-3に対するプライバシ攻撃をシミュレートする。 このモデルから個人識別可能情報(PII)を抽出できるかどうかを判断することを目的とする。 その結果,両タスクの微調整GPT3が,基礎となる微調整データセットから得られた重要な個人識別情報(PII)を記憶・開示するモデルに繋がったことが明らかとなった。
  論文  参考訳（メタデータ） (2023-07-31T03:17:51Z)
• Prefer to Classify: Improving Text Classifiers via Auxiliary Preference Learning [76.43827771613127]
  本稿では、このような補助データアノテーションの新しい代替手段として、入力テキストのペア間のタスク固有の嗜好について検討する。 本稿では、与えられた分類課題と補助的選好の両方を学ぶことの協調効果を享受できる、P2Cと呼ばれる新しいマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T04:04:47Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• Improving Short Text Classification With Augmented Data Using GPT-3 [0.0]
  GPT-3はOpenAIが開発した大規模自然言語モデルである。 本研究は, GPT-3を用いて, 質問がデータサイエンスに関係しているかどうかを, 追加例で小さなトレーニングセットを増補することにより分類する。 拡張コンプリートは80%以上の精度を達成できるが、拡張分類を用いることで、目に見えない例ではより一貫した精度が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-23T01:10:38Z)
• Data Augmentation for Intent Classification with Off-the-shelf Large Language Models [13.895236210726202]
  市販言語モデルを用いた意図分類のためのラベル付き学習データを生成するためのプロンプトベースアプローチを提案する。 提案手法を4つの多目的分類タスクで数ショットで評価する。
  論文  参考訳（メタデータ） (2022-04-05T03:29:26Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• What Makes Good In-Context Examples for GPT-$3$? [101.99751777056314]
  GPT-$3$はNLPタスクの広い範囲でその優れた性能のために多くの注目を集めています。 その成功にもかかわらず、我々はGPT-$3$の実証結果が文脈内例の選択に大きく依存していることを発見した。 本研究では,文脈内事例を適切に選択するためのより効果的な戦略が存在するかを検討する。
  論文  参考訳（メタデータ） (2021-01-17T23:38:40Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)
• Language Models are Few-Shot Learners [61.36677350504291]
  言語モデルのスケールアップにより、タスクに依存しない、少数ショットのパフォーマンスが大幅に向上することを示す。 我々は、1750億のパラメータを持つ自動回帰言語モデルであるGPT-3を訓練し、その性能を数ショットでテストする。 GPT-3は、翻訳、質問応答、クローズタスクを含む多くのNLPデータセットで高いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-05-28T17:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。