論文の概要: Benchmarking and Analyzing In-context Learning, Fine-tuning and Supervised Learning for Biomedical Knowledge Curation: a focused study on chemical entities of biological interest

• arxiv url: http://arxiv.org/abs/2312.12989v1
• Date: Wed, 20 Dec 2023 12:46:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 15:41:07.954140
• Title: Benchmarking and Analyzing In-context Learning, Fine-tuning and Supervised Learning for Biomedical Knowledge Curation: a focused study on chemical entities of biological interest
• Title（参考訳）: バイオメディカル・ナレッジ・キュレーションのための文脈内学習・微調整・改訂学習のベンチマークと分析 : 生物学的興味のある化学物質に着目した研究
• Authors: Emily Groves, Minhong Wang, Yusuf Abdulle, Holger Kunz, Jason Hoelscher-Obermaier, Ronin Wu, Honghan Wu
• Abstract要約: 本研究は、インコンテキスト学習(ICL)、ファインチューニング(FT)、教師あり学習(ChML)の3つのNLPパラダイムを比較し、分析する。 ICLでは、GPT-4、GPT-3.5、BioGPTの3つのプロンプト戦略が採用された。 MLでは、ランダムフォレストとLong-Short Term Memoryモデルのトレーニングに6つの埋め込みモデルが使用された。
• 参考スコア（独自算出の注目度）: 2.8216292452982668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated knowledge curation for biomedical ontologies is key to ensure that they remain comprehensive, high-quality and up-to-date. In the era of foundational language models, this study compares and analyzes three NLP paradigms for curation tasks: in-context learning (ICL), fine-tuning (FT), and supervised learning (ML). Using the Chemical Entities of Biological Interest (ChEBI) database as a model ontology, three curation tasks were devised. For ICL, three prompting strategies were employed with GPT-4, GPT-3.5, BioGPT. PubmedBERT was chosen for the FT paradigm. For ML, six embedding models were utilized for training Random Forest and Long-Short Term Memory models. Five setups were designed to assess ML and FT model performance across different data availability scenarios.Datasets for curation tasks included: task 1 (620,386), task 2 (611,430), and task 3 (617,381), maintaining a 50:50 positive versus negative ratio. For ICL models, GPT-4 achieved best accuracy scores of 0.916, 0.766 and 0.874 for tasks 1-3 respectively. In a direct comparison, ML (trained on ~260,000 triples) outperformed ICL in accuracy across all tasks. (accuracy differences: +.11, +.22 and +.17). Fine-tuned PubmedBERT performed similarly to leading ML models in tasks 1 & 2 (F1 differences: -.014 and +.002), but worse in task 3 (-.048). Simulations revealed performance declines in both ML and FT models with smaller and higher imbalanced training data. where ICL (particularly GPT-4) excelled in tasks 1 & 3. GPT-4 excelled in tasks 1 and 3 with less than 6,000 triples, surpassing ML/FT. ICL underperformed ML/FT in task 2.ICL-augmented foundation models can be good assistants for knowledge curation with correct prompting, however, not making ML and FT paradigms obsolete. The latter two require task-specific data to beat ICL. In such cases, ML relies on small pretrained embeddings, minimizing computational demands.
• Abstract（参考訳）: バイオメディカルオントロジーの自動知識キュレーションは、それらが包括的で高品質で最新であることを保証するための鍵である。 基礎言語モデルの時代において、本研究では、インコンテキスト学習(ICL)、ファインチューニング(FT)、教師あり学習(ML)の3つのNLPパラダイムを比較し、分析する。 モデルオントロジーとしてchebi(chemical entities of biological interest)データベースを用いて3つのキュレーションタスクを考案した。 ICLでは、GPT-4、GPT-3.5、BioGPTの3つのプロンプト戦略が採用された。 PubmedBERTはFTパラダイムのために選ばれた。 mlでは、ランダムフォレストと長期記憶モデルのトレーニングに6つの埋め込みモデルが用いられた。 5つのセットアップは、さまざまなデータ可用性シナリオでMLとFTモデルのパフォーマンスを評価するように設計されており、キュレーションタスクのデータセットには、タスク1(620,386)、タスク2(611,430)、タスク3(617,381)があり、50:50と負の比率を維持している。 ICLモデルでは、GPT-4 はタスク 1-3 に対して 0.916 と 0.766 と 0.874 の最高精度のスコアを得た。 直接比較すると、ml(約260,000トリプルでトレーニング)はすべてのタスクでiclを上回っていた。 (正確な差:+.11、+.22、+.17)。 微調整のPubmedBERTはタスク1と2(F1の差:-.014と+.002)のMLモデルと同様に動作するが、タスク3(-.048)ではより悪い。 シミュレーションにより、MLモデルとFTモデルの両方のパフォーマンス低下が明らかになった。 ICL(特にGPT-4)はタスク1と3で優れている。 GPT-4 はタスク 1 と 3 において 6,000 倍以下で、ML/FT を上回った。 ICLはタスク2.ICL拡張基盤モデルにおいてML/FTを過小評価しているが、MLとFTのパラダイムを時代遅れにしない。 後者の2つは icl を打ち負かすためにタスク固有のデータを必要とする。 このような場合、MLは小さな事前訓練された埋め込みに依存し、計算要求を最小限に抑える。

関連論文リスト

• Training Compute-Optimal Protein Language Models [48.79416103951816]
  ほとんどのタンパク質言語モデルは、パフォーマンスが高くなるまで広範囲の計算資源で訓練されている。 調査は、9億3900万のタンパク質配列からなる膨大なデータセットに基づいて行われた。 私たちは、350万から107億のパラメータから5から200億のユニークなトークンまで、300以上のモデルをトレーニングしました。
  論文  参考訳（メタデータ） (2024-11-04T14:58:37Z)
• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• A comparative study of zero-shot inference with large language models and supervised modeling in breast cancer pathology classification [1.4715634464004446]
  大規模言語モデル(LLM)は、有望な伝達学習能力を実証している。 LLMは、大きな注釈付きデータセットをキュレートする必要性を減らし、臨床NLP研究の実行を高速化する可能性を実証した。 これは、観察臨床研究におけるNLPに基づく変数の利用と結果の増加をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-01-25T02:05:31Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• BioInstruct: Instruction Tuning of Large Language Models for Biomedical Natural Language Processing [10.698756010878688]
  25,005の命令から大規模言語モデル(LLM)を作成する。 命令は、80人のキュレートされた命令からランダムに3列のサンプルを引いたGPT-4言語モデルによって作成される。 いくつかのBioNLPタスクにおいて、これらの命令調整LDMを評価し、質問応答(QA)、情報抽出(IE)、テキスト生成(GEN)の3つの主要なカテゴリに分類できる。
  論文  参考訳（メタデータ） (2023-10-30T19:38:50Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes [91.58845026796149]
  大規模言語モデルを上回る小さなモデルを訓練する新しいメカニズムであるDistilling Step-by-stepを導入する。 4つのNLPベンチマークで3つの結果を得た。
  論文  参考訳（メタデータ） (2023-05-03T17:50:56Z)
• Exploring the Value of Pre-trained Language Models for Clinical Named Entity Recognition [6.917786124918387]
  我々は、スクラッチからトレーニングされたTransformerモデルと、細調整されたBERTベースのLLMを比較した。 文脈学習を促進するために,追加のCRF層がそのようなモデルに与える影響を検討する。
  論文  参考訳（メタデータ） (2022-10-23T16:27:31Z)
• A Novel Semi-supervised Meta Learning Method for Subject-transfer Brain-computer Interface [7.372748737217638]
  本稿では,BCIにおけるサブジェクトトランスファー学習のための半教師付きメタラーニング(S)手法を提案する。 提案したSは,まず既存の被験者のメタモデルを学習し,その後,半教師付き学習方式でモデルを微調整する。 ラベル付きデータが不足したり高価であったり、ラベルなしデータが手軽に利用可能であったりするBCIアプリケーションにとって、これは重要である。
  論文  参考訳（メタデータ） (2022-09-07T15:38:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。