論文の概要: Extracting Biomedical Factual Knowledge Using Pretrained Language Model and Electronic Health Record Context

• arxiv url: http://arxiv.org/abs/2209.07859v1
• Date: Fri, 26 Aug 2022 00:01:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-25 17:57:45.266717
• Title: Extracting Biomedical Factual Knowledge Using Pretrained Language Model and Electronic Health Record Context
• Title（参考訳）: 事前学習言語モデルと電子健康記録コンテキストを用いたバイオメディカル・ファクチュアル知識の抽出
• Authors: Zonghai Yao, Yi Cao, Zhichao Yang, Vijeta Deshpande, Hong Yu
• Abstract要約: 我々は、言語モデル(LM)から知識を抽出するプロンプト手法を、新しい知識ベース(LM)として用いる。 バイオメディカル領域における低バウンドを改善するプロンプトに、特にEHRノートをコンテキストとして追加する。 実験の結果、これらの言語モデルが持つ知識は、EHRノートのノイズ知識と正しい知識を区別できることがわかった。
• 参考スコア（独自算出の注目度）: 7.7971830917251275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language Models (LMs) have performed well on biomedical natural language processing applications. In this study, we conducted some experiments to use prompt methods to extract knowledge from LMs as new knowledge Bases (LMs as KBs). However, prompting can only be used as a low bound for knowledge extraction, and perform particularly poorly on biomedical domain KBs. In order to make LMs as KBs more in line with the actual application scenarios of the biomedical domain, we specifically add EHR notes as context to the prompt to improve the low bound in the biomedical domain. We design and validate a series of experiments for our Dynamic-Context-BioLAMA task. Our experiments show that the knowledge possessed by those language models can distinguish the correct knowledge from the noise knowledge in the EHR notes, and such distinguishing ability can also be used as a new metric to evaluate the amount of knowledge possessed by the model.
• Abstract（参考訳）: 言語モデル(lms)は生物医学的自然言語処理アプリケーションでよく機能している。 本研究では,新しい知識ベース (LM) として LM から知識を抽出するために,プロンプト手法を用いた実験を行った。 しかし、プロンプトは知識抽出の低バウンダリとしてのみ使用することができ、特にバイオメディカルドメインKBでは不十分である。 バイオメディカルドメインの実際の適用シナリオに合わせて、LMをKBとした上で、バイオメディカルドメインの低バウンドを改善するプロンプトに、EHRノートをコンテキストとして追加する。 我々はDynamic-Context-BioLAMAタスクのための一連の実験を設計し、検証する。 実験の結果、これらの言語モデルが持つ知識は、EHRノートのノイズ知識と正しい知識を区別することができ、そのような区別能力は、モデルが持つ知識の量を評価するための新しい指標としても利用できることがわかった。

関連論文リスト

• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• Large Language Models, scientific knowledge and factuality: A framework to streamline human expert evaluation [0.0]
  本研究は,生物医学的背景知識と対話するための大規模言語モデルの可能性を探るものである。 フレームワークには3つの評価ステップが含まれており、それぞれが流布、即応的なアライメント、セマンティック・コヒーレンス、事実的知識、生成した応答の特異性という3つの側面を逐次評価する。 この研究は、ChatGPT、GPT-4、Llama 2を含む11の最先端のLLMを2つのプロンプトベースタスクで持つ能力に関する体系的な評価を提供する。
  論文  参考訳（メタデータ） (2023-05-28T22:46:21Z)
• Can Language Models be Biomedical Knowledge Bases? [18.28724653601921]
  我々は、バイオメディカルLMを探索するための49Kのバイオメディカル事実知識トリプルからなるBioLAMAベンチマークを作成する。 近年提案された生物医学的LMは,生物医学的知識の検索において最大18.51%のAcc@5を達成できることがわかった。
  論文  参考訳（メタデータ） (2021-09-15T08:34:56Z)
• Scientific Language Models for Biomedical Knowledge Base Completion: An Empirical Study [62.376800537374024]
  我々は,KG の完成に向けた科学的 LM の研究を行い,生物医学的リンク予測を強化するために,その潜在知識を活用できるかどうかを探る。 LMモデルとKG埋め込みモデルを統合し,各入力例をいずれかのモデルに割り当てることを学ぶルータ法を用いて,性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-06-17T17:55:33Z)
• CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
  中国初のバイオメディカル言語理解評価ベンチマークを提示する。 名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。 本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-15T12:25:30Z)
• Boosting Low-Resource Biomedical QA via Entity-Aware Masking Strategies [25.990479833023166]
  バイオメディカル質問応答(QA)は、膨大な科学文献から高品質な情報を提供する能力に注目が集まっている。 バイオメディカル・エンティティ・アウェア・マスキング(BEM)と呼ばれるシンプルなアプローチを提案する。 マスク付き言語モデルにより、ドメインを特徴づける重要なエンティティに基づいてエンティティ中心の知識を学び、それらのエンティティをLM微調整の推進に活用します。 実験結果から, バイオメディカルQAデータセットにおける最先端モデルと同等の性能を示す。
  論文  参考訳（メタデータ） (2021-02-16T18:51:13Z)
• UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual Embeddings Using the Unified Medical Language System Metathesaurus [73.86656026386038]
  事前学習プロセス中にドメイン知識を統合するコンテキスト埋め込みモデルであるUmlsBERTを紹介する。 これらの2つの戦略を適用することで、UmlsBERTは、臨床領域の知識を単語埋め込みにエンコードし、既存のドメイン固有モデルより優れている。
  論文  参考訳（メタデータ） (2020-10-20T15:56:31Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)
• Benchmark and Best Practices for Biomedical Knowledge Graph Embeddings [8.835844347471626]
  SNOMED-CT知識グラフ上に,いくつかの最先端知識グラフ埋め込みモデルを学習する。 本稿では,バイオメディカル知識表現の学習に知識グラフのマルチリレーショナルな性質を活用することの重要性を論じる。
  論文  参考訳（メタデータ） (2020-06-24T14:47:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。