論文の概要: Can Language Models be Biomedical Knowledge Bases?

• arxiv url: http://arxiv.org/abs/2109.07154v1
• Date: Wed, 15 Sep 2021 08:34:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-16 15:06:05.293793
• Title: Can Language Models be Biomedical Knowledge Bases?
• Title（参考訳）: 言語モデルはバイオメディカル知識ベースになれるか?
• Authors: Mujeen Sung, Jinhyuk Lee, Sean Yi, Minji Jeon, Sungdong Kim, Jaewoo Kang
• Abstract要約: 我々は、バイオメディカルLMを探索するための49Kのバイオメディカル事実知識トリプルからなるBioLAMAベンチマークを作成する。 近年提案された生物医学的LMは,生物医学的知識の検索において最大18.51%のAcc@5を達成できることがわかった。
• 参考スコア（独自算出の注目度）: 18.28724653601921
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models (LMs) have become ubiquitous in solving various natural language processing (NLP) tasks. There has been increasing interest in what knowledge these LMs contain and how we can extract that knowledge, treating LMs as knowledge bases (KBs). While there has been much work on probing LMs in the general domain, there has been little attention to whether these powerful LMs can be used as domain-specific KBs. To this end, we create the BioLAMA benchmark, which is comprised of 49K biomedical factual knowledge triples for probing biomedical LMs. We find that biomedical LMs with recently proposed probing methods can achieve up to 18.51% Acc@5 on retrieving biomedical knowledge. Although this seems promising given the task difficulty, our detailed analyses reveal that most predictions are highly correlated with prompt templates without any subjects, hence producing similar results on each relation and hindering their capabilities to be used as domain-specific KBs. We hope that BioLAMA can serve as a challenging benchmark for biomedical factual probing.
• Abstract（参考訳）: 様々な自然言語処理(NLP)タスクの解決において,事前学習型言語モデル(LM)が普及している。 lmsが持つ知識と、その知識をいかに抽出し、lmsを知識ベース(kbs)として扱うかについて、関心が高まっている。 一般領域でのLMの探索には多くの研究がなされているが、これらの強力なLMがドメイン固有のKBとして利用できるかどうかについては注目されていない。 この目的のために,バイオメディカルLMを探索するためのバイオメディカル事実知識3倍の49Kのバイオメディカル知識からなるBioLAMAベンチマークを作成する。 近年提案された生物医学的手法により,生物医学的知識の検索において,最大18.51%のAcc@5が得られることがわかった。 課題の難しさを考えると,これは有望なことと思われるが,我々の詳細な分析では,ほとんどの予測は対象のないプロンプトテンプレートと高い相関関係があることが判明している。 バイオラマが生体医学的事実調査の難解な指標になることを願っている。

関連論文リスト

• BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text [82.7001841679981]
  BioMedLM は270億のパラメータ GPT スタイルの自己回帰モデルであり、PubMed の抽象概念と全記事に特化して訓練されている。 微調整すると、BioMedLMはより大規模なモデルと競合する強力な多重選択のバイオメディカルな質問応答結果を生成することができる。 BioMedLMは、医療トピックに関する患者の質問に対する有用な回答を生成するために、微調整することもできる。
  論文  参考訳（メタデータ） (2024-03-27T10:18:21Z)
• An Evaluation of Large Language Models in Bioinformatics Research [52.100233156012756]
  本研究では,大規模言語モデル(LLM)の性能について,バイオインフォマティクスの幅広い課題について検討する。 これらのタスクには、潜在的なコーディング領域の同定、遺伝子とタンパク質の命名されたエンティティの抽出、抗微生物および抗がんペプチドの検出、分子最適化、教育生物情報学問題の解決が含まれる。 以上の結果から, GPT 変種のような LLM がこれらのタスクの多くをうまく処理できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-21T11:27:31Z)
• How Important is Domain Specificity in Language Models and Instruction Finetuning for Biomedical Relation Extraction? [1.7555695340815782]
  一般ドメインモデルは典型的にはバイオメディカルドメインモデルよりも優れていた。 バイオメディカル・インストラクション・ファインタニングは、パフォーマンスを一般的なインストラクション・ファインタニングと同等に改善した。 本研究は,一般のLMの大規模バイオメディカル・インスツルメンテーションに焦点を合わせることで,より有益である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-02-21T01:57:58Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining [140.61707108174247]
  本稿では,大規模生物医学文献に基づいて事前学習したドメイン固有生成型トランスフォーマー言語モデルであるBioGPTを提案する。 BC5CDRでは44.98%、38.42%、40.76%のF1スコア、KD-DTIとDDIの関係抽出タスクでは78.2%、PubMedQAでは78.2%の精度が得られた。
  論文  参考訳（メタデータ） (2022-10-19T07:17:39Z)
• Extracting Biomedical Factual Knowledge Using Pretrained Language Model and Electronic Health Record Context [7.7971830917251275]
  我々は、言語モデル(LM)から知識を抽出するプロンプト手法を、新しい知識ベース(LM)として用いる。 バイオメディカル領域における低バウンドを改善するプロンプトに、特にEHRノートをコンテキストとして追加する。 実験の結果、これらの言語モデルが持つ知識は、EHRノートのノイズ知識と正しい知識を区別できることがわかった。
  論文  参考訳（メタデータ） (2022-08-26T00:01:26Z)
• Rewire-then-Probe: A Contrastive Recipe for Probing Biomedical Knowledge of Pre-trained Language Models [16.535312449449165]
  我々は,Unified Medical Language System (UMLS) Metathesaurus に基づくバイオメディカル知識探索ベンチマーク MedLAMA をリリースする。 我々は、最先端のPLMの幅広いスペクトルをテストし、ベンチマークのアプローチを検証し、acc@10の3%に到達した。 提案するContrastive-Probeは,新しい自己監督型コントラスト型探索手法で,探索データを用いずに基礎となるPLMを調整する。
  論文  参考訳（メタデータ） (2021-10-15T16:00:11Z)
• Scientific Language Models for Biomedical Knowledge Base Completion: An Empirical Study [62.376800537374024]
  我々は,KG の完成に向けた科学的 LM の研究を行い,生物医学的リンク予測を強化するために,その潜在知識を活用できるかどうかを探る。 LMモデルとKG埋め込みモデルを統合し,各入力例をいずれかのモデルに割り当てることを学ぶルータ法を用いて,性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-06-17T17:55:33Z)
• CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
  中国初のバイオメディカル言語理解評価ベンチマークを提示する。 名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。 本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-15T12:25:30Z)
• Boosting Low-Resource Biomedical QA via Entity-Aware Masking Strategies [25.990479833023166]
  バイオメディカル質問応答(QA)は、膨大な科学文献から高品質な情報を提供する能力に注目が集まっている。 バイオメディカル・エンティティ・アウェア・マスキング(BEM)と呼ばれるシンプルなアプローチを提案する。 マスク付き言語モデルにより、ドメインを特徴づける重要なエンティティに基づいてエンティティ中心の知識を学び、それらのエンティティをLM微調整の推進に活用します。 実験結果から, バイオメディカルQAデータセットにおける最先端モデルと同等の性能を示す。
  論文  参考訳（メタデータ） (2021-02-16T18:51:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。