論文の概要: Benchmarking and Analyzing In-context Learning, Fine-tuning and Supervised Learning for Biomedical Knowledge Curation: a focused study on chemical entities of biological interest

• arxiv url: http://arxiv.org/abs/2312.12989v1
• Date: Wed, 20 Dec 2023 12:46:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 15:41:07.954140
• Title: Benchmarking and Analyzing In-context Learning, Fine-tuning and Supervised Learning for Biomedical Knowledge Curation: a focused study on chemical entities of biological interest
• Title（参考訳）: バイオメディカル・ナレッジ・キュレーションのための文脈内学習・微調整・改訂学習のベンチマークと分析 : 生物学的興味のある化学物質に着目した研究
• Authors: Emily Groves, Minhong Wang, Yusuf Abdulle, Holger Kunz, Jason Hoelscher-Obermaier, Ronin Wu, Honghan Wu
• Abstract要約: 本研究は、インコンテキスト学習(ICL)、ファインチューニング(FT)、教師あり学習(ChML)の3つのNLPパラダイムを比較し、分析する。 ICLでは、GPT-4、GPT-3.5、BioGPTの3つのプロンプト戦略が採用された。 MLでは、ランダムフォレストとLong-Short Term Memoryモデルのトレーニングに6つの埋め込みモデルが使用された。
• 参考スコア（独自算出の注目度）: 2.8216292452982668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated knowledge curation for biomedical ontologies is key to ensure that they remain comprehensive, high-quality and up-to-date. In the era of foundational language models, this study compares and analyzes three NLP paradigms for curation tasks: in-context learning (ICL), fine-tuning (FT), and supervised learning (ML). Using the Chemical Entities of Biological Interest (ChEBI) database as a model ontology, three curation tasks were devised. For ICL, three prompting strategies were employed with GPT-4, GPT-3.5, BioGPT. PubmedBERT was chosen for the FT paradigm. For ML, six embedding models were utilized for training Random Forest and Long-Short Term Memory models. Five setups were designed to assess ML and FT model performance across different data availability scenarios.Datasets for curation tasks included: task 1 (620,386), task 2 (611,430), and task 3 (617,381), maintaining a 50:50 positive versus negative ratio. For ICL models, GPT-4 achieved best accuracy scores of 0.916, 0.766 and 0.874 for tasks 1-3 respectively. In a direct comparison, ML (trained on ~260,000 triples) outperformed ICL in accuracy across all tasks. (accuracy differences: +.11, +.22 and +.17). Fine-tuned PubmedBERT performed similarly to leading ML models in tasks 1 & 2 (F1 differences: -.014 and +.002), but worse in task 3 (-.048). Simulations revealed performance declines in both ML and FT models with smaller and higher imbalanced training data. where ICL (particularly GPT-4) excelled in tasks 1 & 3. GPT-4 excelled in tasks 1 and 3 with less than 6,000 triples, surpassing ML/FT. ICL underperformed ML/FT in task 2.ICL-augmented foundation models can be good assistants for knowledge curation with correct prompting, however, not making ML and FT paradigms obsolete. The latter two require task-specific data to beat ICL. In such cases, ML relies on small pretrained embeddings, minimizing computational demands.
• Abstract（参考訳）: バイオメディカルオントロジーの自動知識キュレーションは、それらが包括的で高品質で最新であることを保証するための鍵である。 基礎言語モデルの時代において、本研究では、インコンテキスト学習(ICL)、ファインチューニング(FT)、教師あり学習(ML)の3つのNLPパラダイムを比較し、分析する。 モデルオントロジーとしてchebi(chemical entities of biological interest)データベースを用いて3つのキュレーションタスクを考案した。 ICLでは、GPT-4、GPT-3.5、BioGPTの3つのプロンプト戦略が採用された。 PubmedBERTはFTパラダイムのために選ばれた。 mlでは、ランダムフォレストと長期記憶モデルのトレーニングに6つの埋め込みモデルが用いられた。 5つのセットアップは、さまざまなデータ可用性シナリオでMLとFTモデルのパフォーマンスを評価するように設計されており、キュレーションタスクのデータセットには、タスク1(620,386)、タスク2(611,430)、タスク3(617,381)があり、50:50と負の比率を維持している。 ICLモデルでは、GPT-4 はタスク 1-3 に対して 0.916 と 0.766 と 0.874 の最高精度のスコアを得た。 直接比較すると、ml(約260,000トリプルでトレーニング)はすべてのタスクでiclを上回っていた。 (正確な差:+.11、+.22、+.17)。 微調整のPubmedBERTはタスク1と2(F1の差:-.014と+.002)のMLモデルと同様に動作するが、タスク3(-.048)ではより悪い。 シミュレーションにより、MLモデルとFTモデルの両方のパフォーマンス低下が明らかになった。 ICL(特にGPT-4)はタスク1と3で優れている。 GPT-4 はタスク 1 と 3 において 6,000 倍以下で、ML/FT を上回った。 ICLはタスク2.ICL拡張基盤モデルにおいてML/FTを過小評価しているが、MLとFTのパラダイムを時代遅れにしない。 後者の2つは icl を打ち負かすためにタスク固有のデータを必要とする。 このような場合、MLは小さな事前訓練された埋め込みに依存し、計算要求を最小限に抑える。

関連論文リスト

• A comparative study of zero-shot inference with large language models and supervised modeling in breast cancer pathology classification [1.4715634464004446]
  大規模言語モデル(LLM)は、有望な伝達学習能力を実証している。 LLMは、大きな注釈付きデータセットをキュレートする必要性を減らし、臨床NLP研究の実行を高速化する可能性を実証した。 これは、観察臨床研究におけるNLPに基づく変数の利用と結果の増加をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-01-25T02:05:31Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [77.66158066013924]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• BioInstruct: Instruction Tuning of Large Language Models for Biomedical Natural Language Processing [11.68762234849359]
  25,005の命令から大規模言語モデル(LLM)を作成する。 命令は、80人のキュレートされた命令からランダムに3列のサンプルを引いたGPT-4言語モデルによって作成される。 いくつかのBioNLPタスクにおいて、これらの命令調整LDMを評価し、質問応答(QA)、情報抽出(IE)、テキスト生成(GEN)の3つの主要なカテゴリに分類できる。
  論文  参考訳（メタデータ） (2023-10-30T19:38:50Z)
• Remember what you did so you know what to do next [10.526351131118096]
  我々は,初等科学実験のためのテキストゲームシミュレータであるScienceWorldにおいて,シミュレーションロボットが30の目標を達成する計画を立てる。 実験の結果、30種類のアクションに対して、パフォーマンスが広範囲に分散していることが示され、タスクに対する平均化が重大なパフォーマンス上の問題を隠蔽する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-30T19:29:00Z)
• Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
  大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。 コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:12:58Z)
• Knowledge-Augmented Reasoning Distillation for Small Language Models in Knowledge-Intensive Tasks [90.11273439036455]
  大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。 外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。 我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-28T13:00:00Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes [91.58845026796149]
  大規模言語モデルを上回る小さなモデルを訓練する新しいメカニズムであるDistilling Step-by-stepを導入する。 4つのNLPベンチマークで3つの結果を得た。
  論文  参考訳（メタデータ） (2023-05-03T17:50:56Z)
• Exploring the Value of Pre-trained Language Models for Clinical Named Entity Recognition [6.917786124918387]
  我々は、スクラッチからトレーニングされたTransformerモデルと、細調整されたBERTベースのLLMを比較した。 文脈学習を促進するために,追加のCRF層がそのようなモデルに与える影響を検討する。
  論文  参考訳（メタデータ） (2022-10-23T16:27:31Z)
• A Novel Semi-supervised Meta Learning Method for Subject-transfer Brain-computer Interface [7.372748737217638]
  本稿では,BCIにおけるサブジェクトトランスファー学習のための半教師付きメタラーニング(S)手法を提案する。 提案したSは,まず既存の被験者のメタモデルを学習し,その後,半教師付き学習方式でモデルを微調整する。 ラベル付きデータが不足したり高価であったり、ラベルなしデータが手軽に利用可能であったりするBCIアプリケーションにとって、これは重要である。
  論文  参考訳（メタデータ） (2022-09-07T15:38:57Z)
• GLaM: Efficient Scaling of Language Models with Mixture-of-Experts [84.33607245023049]
  我々はGLaM(Generalist Language Model)という言語モデル群を提案し,開発する。 GLaMは、厳密な変種に比べてトレーニングコストを大幅に削減しつつ、モデルのキャパシティを拡大するために、わずかに活性化されたミックス・オブ・エキスパートアーキテクチャを使用する。 GPT-3の訓練に使用するエネルギーの1/3しか消費せず、推論にはフロップの半分しか必要とせず、29のNLPタスクにまたがる全体的なゼロショットとワンショットのパフォーマンスは向上している。
  論文  参考訳（メタデータ） (2021-12-13T18:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。