論文の概要: A Hybrid Approach to Measure Semantic Relatedness in Biomedical Concepts
- arxiv url: http://arxiv.org/abs/2101.10196v1
- Date: Mon, 25 Jan 2021 16:01:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-14 19:10:05.673825
- Title: A Hybrid Approach to Measure Semantic Relatedness in Biomedical Concepts
- Title（参考訳）: バイオメディカル概念のセマンティック関連性測定のためのハイブリッドアプローチ
- Authors: Katikapalli Subramanyam Kalyan and Sivanesan Sangeetha
- Abstract要約: ELMo, BERT, Sentence BERTモデルを用いて概念優先項を符号化して概念ベクトルを生成した。
SNLIおよびSTSbデータセット上でSiameseネットワークを使用してすべてのBERTモデルをトレーニングし、モデルがセマンティック情報を学ぶことができるようにしました。
概念ベクトルにオントロジー知識を注入すると、その品質がさらに向上し、関連性のスコアが向上する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Objective: This work aimed to demonstrate the effectiveness of a hybrid
approach based on Sentence BERT model and retrofitting algorithm to compute
relatedness between any two biomedical concepts. Materials and Methods: We
generated concept vectors by encoding concept preferred terms using ELMo, BERT,
and Sentence BERT models. We used BioELMo and Clinical ELMo. We used Ontology
Knowledge Free (OKF) models like PubMedBERT, BioBERT, BioClinicalBERT, and
Ontology Knowledge Injected (OKI) models like SapBERT, CoderBERT, KbBERT, and
UmlsBERT. We trained all the BERT models using Siamese network on SNLI and STSb
datasets to allow the models to learn more semantic information at the phrase
or sentence level so that they can represent multi-word concepts better.
Finally, to inject ontology relationship knowledge into concept vectors, we
used retrofitting algorithm and concepts from various UMLS relationships. We
evaluated our hybrid approach on four publicly available datasets which also
includes the recently released EHR-RelB dataset. EHR-RelB is the largest
publicly available relatedness dataset in which 89% of terms are multi-word
which makes it more challenging. Results: Sentence BERT models mostly
outperformed corresponding BERT models. The concept vectors generated using the
Sentence BERT model based on SapBERT and retrofitted using UMLS-related
concepts achieved the best results on all four datasets. Conclusions: Sentence
BERT models are more effective compared to BERT models in computing relatedness
scores in most of the cases. Injecting ontology knowledge into concept vectors
further enhances their quality and contributes to better relatedness scores.
- Abstract（参考訳）: 目的: 本研究は,2つのバイオメディカル概念間の関連性を計算するために, センテンスBERTモデルと再適合アルゴリズムに基づくハイブリッドアプローチの有効性を実証することを目的とした。
材料と方法: ELMo, BERT, Sentence BERTモデルを用いて, 概念推奨項を符号化し, 概念ベクトルを生成する。
BioELMo と Clinical ELMo を使いました。
我々は、PubMedBERT、BioBERT、BioClinicalBERTのようなオントロジー知識自由(OKF)モデルと、SapBERT、CoderBERT、KbBERT、UmlsBERTのようなオントロジー知識注入(OKI)モデルを使用した。
snli と stsb データセット上の siamese network を使ってすべての bert モデルをトレーニングし、モデルが複数の単語の概念をより良く表現できるように、句や文レベルでより意味的な情報を学習できるようにしました。
最後に、オントロジー関係の知識を概念ベクトルに注入するために、様々なUMLS関係から再適合アルゴリズムと概念を用いた。
最近リリースされたEHR-RelBデータセットを含む4つの公開データセットのハイブリッドアプローチを評価しました。
EHR-RelBは、89%の用語がマルチワードであるため、より困難になる最大の公開関連データセットです。
結果: Sentence BERTモデルは、主に対応するBERTモデルより優れていた。
SapBERT をベースとした Sentence BERT モデルを用いて生成された概念ベクトルは,UMLS に関連する概念を用いて再適合し,4つのデータセットで最高の結果を得た。
結論: Sentence BERTモデルは、ほとんどの場合、計算関連性スコアにおいてBERTモデルよりも効果的である。
概念ベクトルにオントロジー知識を注入すると、その品質がさらに向上し、関連性のスコアが向上する。
関連論文リスト
- Multi-level biomedical NER through multi-granularity embeddings and
enhanced labeling [3.8599767910528917]
本稿では,複数のモデルの強みを統合するハイブリッドアプローチを提案する。
BERTは、文脈化された単語の埋め込み、文字レベルの情報キャプチャのための事前訓練されたマルチチャネルCNN、およびテキスト内の単語間の依存関係のシーケンスラベリングとモデル化のためのBiLSTM + CRFを提供する。
我々は、ベンチマークi2b2/2010データセットを用いて、F1スコア90.11を達成する。
論文 参考訳（メタデータ） (2023-12-24T21:45:36Z) - Diversifying Knowledge Enhancement of Biomedical Language Models using
Adapter Modules and Knowledge Graphs [54.223394825528665]
我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。
バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。
計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
論文 参考訳（メタデータ） (2023-12-21T14:26:57Z) - Evaluating Biomedical BERT Models for Vocabulary Alignment at Scale in
the UMLS Metathesaurus [8.961270657070942]
現在のUMLS(Unified Medical Language System)メタテーザウルス構築プロセスは高価でエラーを起こしやすい。
自然言語処理の最近の進歩は、下流タスクにおける最先端(SOTA)のパフォーマンスを達成している。
BERTモデルを用いたアプローチがUMLSメタテーラスの同義語予測において,既存のアプローチよりも優れているかどうかを検証することを目的としている。
論文 参考訳（メタデータ） (2021-09-14T16:52:16Z) - Mixture-of-Partitions: Infusing Large Biomedical Knowledge Graphs into
BERT [17.739843061394367]
Mixture-of-Partitions (MoP)は、非常に大きな知識グラフ(KG)を小さなサブグラフに分割し、その特定の知識を軽量アダプタを使用して様々なBERTモデルに注入することで処理することができる。
SciBERT, BioBERT, PubmedBERTの3つのバイオメディカルBERTを下流6つのタスク(NLI, QA, 分類)で評価した。
論文 参考訳（メタデータ） (2021-09-10T11:54:25Z) - Scientific Language Models for Biomedical Knowledge Base Completion: An
Empirical Study [62.376800537374024]
我々は,KG の完成に向けた科学的 LM の研究を行い,生物医学的リンク予測を強化するために,その潜在知識を活用できるかどうかを探る。
LMモデルとKG埋め込みモデルを統合し,各入力例をいずれかのモデルに割り当てることを学ぶルータ法を用いて,性能を大幅に向上させる。
論文 参考訳（メタデータ） (2021-06-17T17:55:33Z) - Fast and Effective Biomedical Entity Linking Using a Dual Encoder [48.86736921025866]
文書中の複数の言及を1ショットで解決するBERTベースのデュアルエンコーダモデルを提案する。
本稿では,提案モデルが既存のBERTモデルよりも複数倍高速であり,バイオメディカルエンティティリンクの精度に競争力があることを示す。
論文 参考訳（メタデータ） (2021-03-08T19:32:28Z) - Evaluation of BERT and ALBERT Sentence Embedding Performance on
Downstream NLP Tasks [4.955649816620742]
本稿では,BERT と ALBERT の文埋め込みモデルについて検討する。
我々は、Sentence-BERT (SBERT) と呼ばれるシアムとトリプルトネットワーク構造を持つBERTネットワークを改良し、BERTをALBERTに置き換え、Sentence-ALBERT (SALBERT) を作成する。
論文 参考訳（メタデータ） (2021-01-26T09:14:06Z) - Investigation of BERT Model on Biomedical Relation Extraction Based on
Revised Fine-tuning Mechanism [2.8881198461098894]
BERTモデルの微調整過程における層全体の利用法について検討する。
さらに解析により,BERTモデルの最後の層から関係性に関する重要な知識を学習できることが示唆された。
論文 参考訳（メタデータ） (2020-11-01T01:47:16Z) - UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual
Embeddings Using the Unified Medical Language System Metathesaurus [73.86656026386038]
事前学習プロセス中にドメイン知識を統合するコンテキスト埋め込みモデルであるUmlsBERTを紹介する。
これらの2つの戦略を適用することで、UmlsBERTは、臨床領域の知識を単語埋め込みにエンコードし、既存のドメイン固有モデルより優れている。
論文 参考訳（メタデータ） (2020-10-20T15:56:31Z) - Predicting Clinical Diagnosis from Patients Electronic Health Records
Using BERT-based Neural Networks [62.9447303059342]
医療コミュニティにおけるこの問題の重要性を示す。
本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。
約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
論文 参考訳（メタデータ） (2020-07-15T09:22:55Z) - Students Need More Attention: BERT-based AttentionModel for Small Data
with Application to AutomaticPatient Message Triage [65.7062363323781]
BioBERT (Bidirectional Representations from Transformers for Biomedical Text Mining) に基づく新しいフレームワークを提案する。
LESA-BERTと呼ぶBERTの各層にラベル埋め込みを導入し、(ii)LESA-BERTを小さな変種に蒸留することにより、小さなデータセットで作業する際のオーバーフィッティングとモデルサイズを低減することを目指す。
アプリケーションとして,本フレームワークを用いて,患者ポータルメッセージトリアージのモデルを構築し,メッセージの緊急度を非緊急度,中度度,緊急度という3つのカテゴリに分類する。
論文 参考訳（メタデータ） (2020-06-22T03:39:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。