論文の概要: Generative Biomedical Entity Linking via Knowledge Base-Guided
Pre-training and Synonyms-Aware Fine-tuning
- arxiv url: http://arxiv.org/abs/2204.05164v1
- Date: Mon, 11 Apr 2022 14:50:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-12 15:45:48.708906
- Title: Generative Biomedical Entity Linking via Knowledge Base-Guided
Pre-training and Synonyms-Aware Fine-tuning
- Title（参考訳）: 知識ベースによる事前学習と同期による生物医学的エンティティリンク
- Authors: Hongyi Yuan, Zheng Yuan, Sheng Yu
- Abstract要約: バイオメディカル・エンティティ・リンク(EL)のモデル化のための生成的アプローチを提案する。
そこで本研究では,KBの同義語と定義を用いた合成サンプルの構築により,KB指導による事前学習を提案する。
また、学習のための概念名を選択するためのシノニム対応の微調整を提案し、推論のためにデコーダプロンプトとマルチシンノニム制約付きプレフィックスツリーを提案する。
- 参考スコア（独自算出の注目度）: 0.8154691566915505
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Entities lie in the heart of biomedical natural language understanding, and
the biomedical entity linking (EL) task remains challenging due to the
fine-grained and diversiform concept names. Generative methods achieve
remarkable performances in general domain EL with less memory usage while
requiring expensive pre-training. Previous biomedical EL methods leverage
synonyms from knowledge bases (KB) which is not trivial to inject into a
generative method. In this work, we use a generative approach to model
biomedical EL and propose to inject synonyms knowledge in it. We propose
KB-guided pre-training by constructing synthetic samples with synonyms and
definitions from KB and require the model to recover concept names. We also
propose synonyms-aware fine-tuning to select concept names for training, and
propose decoder prompt and multi-synonyms constrained prefix tree for
inference. Our method achieves state-of-the-art results on several biomedical
EL tasks without candidate selection which displays the effectiveness of
proposed pre-training and fine-tuning strategies.
- Abstract（参考訳）: 生物医学的自然言語理解の核心に存在しており、微細で多様な概念名によって、ELタスクは依然として困難である。
生成手法は、高価な事前トレーニングを必要としながら、メモリ使用量が少なく、一般的なドメインELにおいて顕著な性能を達成する。
これまでのバイオメディカルEL法は、生成法に注入するのは簡単ではない知識ベース(KB)のシノニムを利用する。
本研究では,生物医学的elをモデル化し,同義語知識を注入する方法を提案する。
そこで本研究では,同義語と定義を持つ合成サンプルをkbから構築し,概念名の復元をモデルに要求する。
また、学習のための概念名を選択するためのシノニム対応の微調整を提案し、推論のためにデコーダプロンプトとマルチシンノニム制約プレフィックスツリーを提案する。
本手法は,前訓練および微調整戦略の有効性を示す候補選択を行わず,いくつかの生物医学的elタスクにおいて最新の結果を得る。
関連論文リスト
- Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。
本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。
我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
論文 参考訳（メタデータ） (2024-07-19T17:50:11Z) - BELHD: Improving Biomedical Entity Linking with Homonoym Disambiguation [4.477762005644463]
バイオメディカル・エンティティ・リンク(英: Biomedical entity Linking、BEL)は、知識ベース(KB)に言及するエンティティを接地するタスクである。
BELHDは、2つの重要な拡張を導入したBioSyn(Sung et al., 2020)モデルに基づいている。
10のコーパスと5つのエンティティタイプによる実験では、BELHDは最先端のアプローチで改善されている。
論文 参考訳（メタデータ） (2024-01-10T12:45:18Z) - Diversifying Knowledge Enhancement of Biomedical Language Models using
Adapter Modules and Knowledge Graphs [54.223394825528665]
我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。
バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。
計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
論文 参考訳（メタデータ） (2023-12-21T14:26:57Z) - Bi-Encoders based Species Normalization -- Pairwise Sentence Learning to
Rank [0.0]
本稿では、名前付きエンティティ正規化のための新しい深層学習手法を提案し、問題をランク付けするペアワイズ学習として扱う。
本研究は,種の実体型に関する実験を行い,その手法を最先端技術に対して評価する。
論文 参考訳（メタデータ） (2023-10-22T17:30:16Z) - Biomedical Named Entity Recognition via Dictionary-based Synonym
Generalization [51.89486520806639]
本研究では,入力テキストに含まれる生物医学的概念をスパンベース予測を用いて認識する,新しいSynGenフレームワークを提案する。
提案手法を広範囲のベンチマークで広範囲に評価し,SynGenが従来の辞書ベースモデルよりも顕著なマージンで優れていることを確認した。
論文 参考訳（メタデータ） (2023-05-22T14:36:32Z) - Automatic Biomedical Term Clustering by Learning Fine-grained Term
Representations [0.8154691566915505]
最先端の用語埋め込みは、事前訓練された言語モデルを利用して用語をエンコードし、知識グラフからの同義語と関係知識を使用して、対照的な学習を導く。
これらの埋め込みは、バイオメディカルな用語クラスタリングの失敗につながる小さなテキストの違いに敏感ではない。
この問題を軽減するため,動的ハード・ポジティと負のサンプルを提供することにより,プレトレーニング項埋め込みにおけるサンプリング戦略を調整した。
我々は提案手法をCODER++と命名し,新たにリリースされたBIOSというバイオメディカル知識グラフのバイオメディカル概念のクラスタリングに適用した。
論文 参考訳（メタデータ） (2022-04-01T12:30:58Z) - KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization
for Relation Extraction [111.74812895391672]
シナジスティック最適化(KnowPrompt)を用いた知識認識型Promptチューニング手法を提案する。
関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
論文 参考訳（メタデータ） (2021-04-15T17:57:43Z) - A Lightweight Neural Model for Biomedical Entity Linking [1.8047694351309205]
本論文では,生物医学的実体連携のための軽量ニューラル手法を提案する。
本手法では,アライメント層とアライメント機構を用いて参照とエンティティ名の違いをキャプチャする。
私達のモデルは標準的な評価のベンチマークの前の仕事と競争です。
論文 参考訳（メタデータ） (2020-12-16T10:34:37Z) - UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual
Embeddings Using the Unified Medical Language System Metathesaurus [73.86656026386038]
事前学習プロセス中にドメイン知識を統合するコンテキスト埋め込みモデルであるUmlsBERTを紹介する。
これらの2つの戦略を適用することで、UmlsBERTは、臨床領域の知識を単語埋め込みにエンコードし、既存のドメイン固有モデルより優れている。
論文 参考訳（メタデータ） (2020-10-20T15:56:31Z) - PhenoTagger: A Hybrid Method for Phenotype Concept Recognition using
Human Phenotype Ontology [6.165755812152143]
PhenoTaggerは、辞書と機械学習に基づく手法を組み合わせて、構造化されていないテキストの概念を認識するハイブリッド手法である。
提案手法は2つのHPOコーパスを用いて検証し,PhenoTaggerが従来の手法と比較した。
論文 参考訳（メタデータ） (2020-09-17T18:00:43Z) - Domain-Specific Language Model Pretraining for Biomedical Natural
Language Processing [73.37262264915739]
バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。
実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
論文 参考訳（メタデータ） (2020-07-31T00:04:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。