論文の概要: How Important is Domain Specificity in Language Models and Instruction Finetuning for Biomedical Relation Extraction?

• arxiv url: http://arxiv.org/abs/2402.13470v2
• Date: Fri, 25 Jul 2025 09:32:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-28 16:16:48.653462
• Title: How Important is Domain Specificity in Language Models and Instruction Finetuning for Biomedical Relation Extraction?
• Title（参考訳）: 生物医学的関係抽出のための言語モデルにおけるドメイン特化度と指導ファインタニングの重要性
• Authors: Aviv Brokman, Ramakanth Kavuluru,
• Abstract要約: 一般ドメインモデルは典型的にはバイオメディカルドメインモデルよりも優れていた。 バイオメディカル・インストラクション・ファインタニングは、パフォーマンスを一般的なインストラクション・ファインタニングと同等に改善した。 本研究は,一般のLMの大規模バイオメディカル・インスツルメンテーションに焦点を合わせることで,より有益である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 1.4860485766459153
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cutting edge techniques developed in the general NLP domain are often subsequently applied to the high-value, data-rich biomedical domain. The past few years have seen generative language models (LMs), instruction finetuning, and few-shot learning become foci of NLP research. As such, generative LMs pretrained on biomedical corpora have proliferated and biomedical instruction finetuning has been attempted as well, all with the hope that domain specificity improves performance on downstream tasks. Given the nontrivial effort in training such models, we investigate what, if any, benefits they have in the key biomedical NLP task of relation extraction. Specifically, we address two questions: (1) Do LMs trained on biomedical corpora outperform those trained on general domain corpora? (2) Do models instruction finetuned on biomedical datasets outperform those finetuned on assorted datasets or those simply pretrained? We tackle these questions using existing LMs, testing across four datasets. In a surprising result, general-domain models typically outperformed biomedical-domain models. However, biomedical instruction finetuning improved performance to a similar degree as general instruction finetuning, despite having orders of magnitude fewer instructions. Our findings suggest it may be more fruitful to focus research effort on larger-scale biomedical instruction finetuning of general LMs over building domain-specific biomedical LMs
• Abstract（参考訳）: 一般的なNLPドメインで開発された切削エッジ技術は、高価値でデータ豊富なバイオメディカルドメインに適用されることが多い。 過去数年間、生成言語モデル(LM)、命令の微調整、数発の学習がNLP研究の原動力となっている。 このように、生物医学的コーパスで事前訓練された生成的LMも増加し、下流タスクにおけるドメイン特異性の向上を期待して、生物医学的指導微調整も試みられている。 このようなモデルを訓練するための非自明な努力を考慮し、関係抽出の鍵となるNLPタスクにおいて、どのようなメリットがあるかを検討する。 具体的には,(1)バイオメディカルコーパスで訓練されたLMは,一般ドメインコーパスで訓練したLMよりも優れているか,という2つの疑問に対処する。 2) バイオメディカルデータセットで微調整されたモデルは、分類されたデータセットで微調整された人よりも優れているか、あるいは単に事前訓練された人よりも優れているか? 既存のLMを使って、これらの疑問に対処し、4つのデータセットでテストします。 驚くべき結果として、一般ドメインモデルは典型的にはバイオメディカルドメインモデルよりも優れていた。 しかし、バイオメディカル・インストラクションの微調整は、命令の桁数が桁違いであるにもかかわらず、一般的なインストラクションの微調整と同等のパフォーマンスを向上した。 我々の研究成果は、ドメイン固有のバイオメディカル LM 構築よりも、一般 LM の大規模 バイオメディカル インストラクション 微調整に焦点を合わせることがより有益である可能性が示唆された。

関連論文リスト

• Reconstructing Biological Pathways by Applying Selective Incremental Learning to (Very) Small Language Models [0.3613661942047476]
  汎用大規模言語AIモデル(LLM)は、しばしば「幻覚」と呼ばれる創造的な回答を提供する傾向を示す。 生物医学研究において, より小さく, ドメイン, タスク固有のLMの設計と利用が, より合理的かつ適切な利用である可能性が示唆された。
  論文  参考訳（メタデータ） (2025-07-06T15:35:45Z)
• BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text [82.7001841679981]
  BioMedLM は270億のパラメータ GPT スタイルの自己回帰モデルであり、PubMed の抽象概念と全記事に特化して訓練されている。 微調整すると、BioMedLMはより大規模なモデルと競合する強力な多重選択のバイオメディカルな質問応答結果を生成することができる。 BioMedLMは、医療トピックに関する患者の質問に対する有用な回答を生成するために、微調整することもできる。
  論文  参考訳（メタデータ） (2024-03-27T10:18:21Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• BIOptimus: Pre-training an Optimal Biomedical Language Model with Curriculum Learning for Named Entity Recognition [0.0]
  大規模コーパス上での自己教師型設定で事前訓練された言語モデル(LM)を用いることで,ラベルデータに制限があるという問題に対処できる。 最近のバイオメディカル言語処理の研究は、多くのバイオメディカルLMを事前訓練した。 本稿では, バイオメディカル LM をスクラッチから事前訓練し, 継続的に事前訓練するなど, 様々な事前訓練方法を検討することを目的とする。
  論文  参考訳（メタデータ） (2023-08-16T18:48:01Z)
• Biomedical Language Models are Robust to Sub-optimal Tokenization [30.175714262031253]
  現代のバイオメディカル言語モデル(LM)は、標準的なドメイン固有のトークン化器を用いて事前訓練されている。 より正確なバイオメディカルトークン化器を用いたバイオメディカルLMの事前トレーニングでは,言語モデルの実体表現品質が向上しないことがわかった。
  論文  参考訳（メタデータ） (2023-06-30T13:35:24Z)
• BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining [140.61707108174247]
  本稿では,大規模生物医学文献に基づいて事前学習したドメイン固有生成型トランスフォーマー言語モデルであるBioGPTを提案する。 BC5CDRでは44.98%、38.42%、40.76%のF1スコア、KD-DTIとDDIの関係抽出タスクでは78.2%、PubMedQAでは78.2%の精度が得られた。
  論文  参考訳（メタデータ） (2022-10-19T07:17:39Z)
• Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
  バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:20:35Z)
• Pre-trained Language Models in Biomedical Domain: A Systematic Survey [33.572502204216256]
  プレトレーニング言語モデル(PLM)は、ほとんどの自然言語処理(NLP)タスクのデファクトパラダイムである。 本稿では,生物医学領域における事前学習言語モデルの最近の進歩とその生物医学的下流タスクへの応用について要約する。
  論文  参考訳（メタデータ） (2021-10-11T05:30:30Z)
• Can Language Models be Biomedical Knowledge Bases? [18.28724653601921]
  我々は、バイオメディカルLMを探索するための49Kのバイオメディカル事実知識トリプルからなるBioLAMAベンチマークを作成する。 近年提案された生物医学的LMは,生物医学的知識の検索において最大18.51%のAcc@5を達成できることがわかった。
  論文  参考訳（メタデータ） (2021-09-15T08:34:56Z)
• Recognising Biomedical Names: Challenges and Solutions [9.51284672475743]
  本稿では,不連続な言及を認識可能な遷移ベースNERモデルを提案する。 また、適切な事前学習データを通知する費用対効果のアプローチも開発している。 我々の貢献は、特に新しいバイオメディカル・アプリケーションが必要な場合に、明らかな実践的意味を持つ。
  論文  参考訳（メタデータ） (2021-06-23T08:20:13Z)
• Scientific Language Models for Biomedical Knowledge Base Completion: An Empirical Study [62.376800537374024]
  我々は,KG の完成に向けた科学的 LM の研究を行い,生物医学的リンク予測を強化するために,その潜在知識を活用できるかどうかを探る。 LMモデルとKG埋め込みモデルを統合し,各入力例をいずれかのモデルに割り当てることを学ぶルータ法を用いて,性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-06-17T17:55:33Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。