論文の概要: Thinking about GPT-3 In-Context Learning for Biomedical IE? Think Again
- arxiv url: http://arxiv.org/abs/2203.08410v1
- Date: Wed, 16 Mar 2022 05:56:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-18 03:04:16.891024
- Title: Thinking about GPT-3 In-Context Learning for Biomedical IE? Think Again
- Title（参考訳）: GPT-3 バイオメディカルIEの文脈学習を考える
もう一度考えて
- Authors: Bernal Jim\'enez Guti\'errez, Nikolas McNeal, Clay Washington, You
Chen, Lang Li, Huan Sun, Yu Su
- Abstract要約: 本研究は,GPT-3のテキスト内学習を小型(BERTサイズ)PLMと比較した最初の体系的,包括的研究である。
以上の結果から, GPT-3 は, 小型 PLM の微調整に比べてまだ性能が劣っていることが示唆された。
- 参考スコア（独自算出の注目度）: 24.150464908060112
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The strong few-shot in-context learning capability of large pre-trained
language models (PLMs) such as GPT-3 is highly appealing for biomedical
applications where data annotation is particularly costly. In this paper, we
present the first systematic and comprehensive study to compare the few-shot
performance of GPT-3 in-context learning with fine-tuning smaller (i.e.,
BERT-sized) PLMs on two highly representative biomedical information extraction
tasks, named entity recognition and relation extraction. We follow the true
few-shot setting to avoid overestimating models' few-shot performance by model
selection over a large validation set. We also optimize GPT-3's performance
with known techniques such as contextual calibration and dynamic in-context
example retrieval. However, our results show that GPT-3 still significantly
underperforms compared with simply fine-tuning a smaller PLM using the same
small training set. Moreover, what is equally important for practical
applications is that adding more labeled data would reliably yield an
improvement in model performance. While that is the case when fine-tuning small
PLMs, GPT-3's performance barely improves when adding more data. In-depth
analyses further reveal issues of the in-context learning setting that may be
detrimental to information extraction tasks in general. Given the high cost of
experimenting with GPT-3, we hope our study provides guidance for biomedical
researchers and practitioners towards more promising directions such as
fine-tuning GPT-3 or small PLMs.
- Abstract（参考訳）: GPT-3のような大規模事前学習型言語モデル(PLM)の強力な文脈内学習能力は、特にデータアノテーションが高価である生体医学的応用に非常に優れている。
本稿では,GPT-3インコンテクスト学習と小文字小文字(BERTサイズ)PLMの2つの高度に代表される生体情報抽出タスク(エンティティ認識と関係抽出)を比較した,最初の体系的,総合的な研究を提案する。
実数ショット設定に従うことで、大きなバリデーションセットよりもモデル選択によるモデルの最小ショット性能を過大評価しないようにします。
また,GPT-3の性能を文脈キャリブレーションや動的文脈内サンプル検索などの既知の手法で最適化する。
しかし,本実験では,同一の訓練セットを用いたplmの小型化に比べ,gpt-3の精度は有意に低かった。
さらに、実用的なアプリケーションで等しく重要であるのは、ラベル付きデータの追加が確実にモデルパフォーマンスの向上をもたらすことである。
小型のPLMを微調整する場合はそうであるが、GPT-3の性能はデータを追加する際にはほとんど改善されない。
詳細な分析により、情報抽出タスク全般に有害である可能性のある、コンテキスト内学習設定の問題点が明らかになった。
GPT-3を高コストで実験することを考えると,本研究は生物医学研究者や実践者に対して,微調整GPT-3や小型PLMなど,より有望な方向に向けてのガイダンスを提供することを願っている。
関連論文リスト
- Selecting Between BERT and GPT for Text Classification in Political Science Research [4.487884986288122]
低データシナリオにおけるBERTモデルとGPTモデルの有効性を評価する。
パフォーマンス、使いやすさ、コストの観点から、これらのアプローチを比較して結論付けます。
論文 参考訳（メタデータ） (2024-11-07T07:29:39Z) - Text generation for dataset augmentation in security classification
tasks [55.70844429868403]
本研究では、複数のセキュリティ関連テキスト分類タスクにおいて、このデータギャップを埋めるための自然言語テキストジェネレータの適用性を評価する。
我々は,GPT-3データ拡張戦略において,既知の正のクラスサンプルに厳しい制約がある状況において,大きなメリットを見出した。
論文 参考訳（メタデータ） (2023-10-22T22:25:14Z) - Systematic Evaluation of GPT-3 for Zero-Shot Personality Estimation [12.777659013330823]
GPT-3は、ユーザのソーシャルメディア投稿からBig 5の性格特性を推定するために使用される。
GPT-3の性能は、広く分類するために既存の訓練済みのSotAに近いことが判明した。
我々は、GPT-3が事前訓練された語彙モデルよりも優れた性能を示し、体系的な誤りを説明できる。
論文 参考訳（メタデータ） (2023-06-01T22:43:37Z) - Summarizing, Simplifying, and Synthesizing Medical Evidence Using GPT-3
(with Varying Success) [36.646495151276326]
GPT-3は、いくつかの設定とゼロショット設定で、一般的なドメインニュース記事の高品質な要約を生成することができる。
我々は,GPT-3が生み出すバイオメディカル記事の要約を評価するために,ドメインエキスパート(個別の医療研修)を募集した。
論文 参考訳（メタデータ） (2023-05-10T16:40:37Z) - News Summarization and Evaluation in the Era of GPT-3 [73.48220043216087]
GPT-3は,大規模な要約データセット上で訓練された微調整モデルと比較する。
我々は,GPT-3サマリーが圧倒的に好まれるだけでなく,タスク記述のみを用いることで,現実性に乏しいようなデータセット固有の問題に悩まされることも示している。
論文 参考訳（メタデータ） (2022-09-26T01:04:52Z) - Improving Short Text Classification With Augmented Data Using GPT-3 [0.0]
GPT-3はOpenAIが開発した大規模自然言語モデルである。
本研究は, GPT-3を用いて, 質問がデータサイエンスに関係しているかどうかを, 追加例で小さなトレーニングセットを増補することにより分類する。
拡張コンプリートは80%以上の精度を達成できるが、拡張分類を用いることで、目に見えない例ではより一貫した精度が得られることがわかった。
論文 参考訳（メタデータ） (2022-05-23T01:10:38Z) - Guiding Generative Language Models for Data Augmentation in Few-Shot
Text Classification [59.698811329287174]
我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。
実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
論文 参考訳（メタデータ） (2021-11-17T12:10:03Z) - Reframing Instructional Prompts to GPTk's Language [72.69833640335519]
本稿では,モデル設計者が言語モデルに対して効果的なプロンプトを作成するためのリフレーミング手法を提案する。
その結果、リフレーミングはサンプルの複雑さを減らしながら、数ショットの学習性能を14%向上させることがわかった。
GPT3では、大規模なデータセットでモデルやプロンプトをチューニングすることは不可能である。
論文 参考訳（メタデータ） (2021-09-16T09:44:43Z) - GPT-3 Models are Poor Few-Shot Learners in the Biomedical Domain [5.479164650793012]
本稿では,GPT-3とBioBERTの2つの強力なトランスフォーマー言語モデルの性能について,生物医学的NLPタスクにおける数ショット設定で検討する。
GPT-3は、オープンドメインのNLPタスクにおける数発の知識伝達において、最先端の成果をすでに達成していたが、BioBERTほど効果的に実行できなかった。
論文 参考訳（メタデータ） (2021-09-06T15:50:37Z) - What Makes Good In-Context Examples for GPT-$3$? [101.99751777056314]
GPT-$3$はNLPタスクの広い範囲でその優れた性能のために多くの注目を集めています。
その成功にもかかわらず、我々はGPT-$3$の実証結果が文脈内例の選択に大きく依存していることを発見した。
本研究では,文脈内事例を適切に選択するためのより効果的な戦略が存在するかを検討する。
論文 参考訳（メタデータ） (2021-01-17T23:38:40Z) - Language Models are Few-Shot Learners [61.36677350504291]
言語モデルのスケールアップにより、タスクに依存しない、少数ショットのパフォーマンスが大幅に向上することを示す。
我々は、1750億のパラメータを持つ自動回帰言語モデルであるGPT-3を訓練し、その性能を数ショットでテストする。
GPT-3は、翻訳、質問応答、クローズタスクを含む多くのNLPデータセットで高いパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-05-28T17:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。