論文の概要: Diversifying Knowledge Enhancement of Biomedical Language Models using
Adapter Modules and Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2312.13881v1
- Date: Thu, 21 Dec 2023 14:26:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 14:43:51.986977
- Title: Diversifying Knowledge Enhancement of Biomedical Language Models using
Adapter Modules and Knowledge Graphs
- Title（参考訳）: アダプタモジュールとナレッジグラフを用いた生物医学的言語モデルの知識の多様化
- Authors: Juraj Vladika, Alexander Fichtl, Florian Matthes
- Abstract要約: 我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。
バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。
計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
- 参考スコア（独自算出の注目度）: 54.223394825528665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in natural language processing (NLP) owe their success to
pre-training language models on large amounts of unstructured data. Still,
there is an increasing effort to combine the unstructured nature of LMs with
structured knowledge and reasoning. Particularly in the rapidly evolving field
of biomedical NLP, knowledge-enhanced language models (KELMs) have emerged as
promising tools to bridge the gap between large language models and
domain-specific knowledge, considering the available biomedical knowledge
graphs (KGs) curated by experts over the decades. In this paper, we develop an
approach that uses lightweight adapter modules to inject structured biomedical
knowledge into pre-trained language models (PLMs). We use two large KGs, the
biomedical knowledge system UMLS and the novel biochemical ontology OntoChem,
with two prominent biomedical PLMs, PubMedBERT and BioLinkBERT. The approach
includes partitioning knowledge graphs into smaller subgraphs, fine-tuning
adapter modules for each subgraph, and combining the knowledge in a fusion
layer. We test the performance on three downstream tasks: document
classification,question answering, and natural language inference. We show that
our methodology leads to performance improvements in several instances while
keeping requirements in computing power low. Finally, we provide a detailed
interpretation of the results and report valuable insights for future work.
- Abstract（参考訳）: 自然言語処理(NLP)の最近の進歩は、大量の非構造化データに基づく事前学習言語モデルの成功に起因している。
それでも、LMの非構造的な性質と構造化された知識と推論を組み合わせる努力が増えている。
特に、バイオメディカルNLPの急速な発展において、知識強化言語モデル(KELM)は、何十年にもわたって専門家がキュレートしたバイオメディカル知識グラフ(KG)を考えると、大きな言語モデルとドメイン固有の知識のギャップを埋めるための有望なツールとして現れてきた。
本稿では,軽量なアダプターモジュールを用いて,構造化バイオメディカル知識を事前学習言語モデル(PLM)に注入する手法を提案する。
バイオメディカル知識システムUMLSと新しい生化学オントロジーOntoChemの2つの大きなKGとPubMedBERTとBioLinkBERTを用いた。
このアプローチには、知識グラフを小さなサブグラフに分割すること、各サブグラフ用の微調整アダプタモジュール、融合層の知識を組み合わせることが含まれる。
文書分類,質問応答,自然言語推論の3つのダウンストリームタスクで性能を検証した。
我々は,計算能力の要件を低く保ちながら,いくつかの事例における性能改善につながることを示す。
最後に,結果の詳細な解釈を行い,今後の研究に有用な知見を報告する。
関連論文リスト
- Leveraging Biomolecule and Natural Language through Multi-Modal
Learning: A Survey [75.47055414002571]
生物分子モデリングと自然言語(BL)の統合は、人工知能、化学、生物学の交差点において有望な学際領域として現れてきた。
生体分子と自然言語の相互モデリングによって達成された最近の進歩について分析する。
論文 参考訳（メタデータ） (2024-03-03T14:59:47Z) - An Evaluation of Large Language Models in Bioinformatics Research [52.100233156012756]
本研究では,大規模言語モデル(LLM)の性能について,バイオインフォマティクスの幅広い課題について検討する。
これらのタスクには、潜在的なコーディング領域の同定、遺伝子とタンパク質の命名されたエンティティの抽出、抗微生物および抗がんペプチドの検出、分子最適化、教育生物情報学問題の解決が含まれる。
以上の結果から, GPT 変種のような LLM がこれらのタスクの多くをうまく処理できることが示唆された。
論文 参考訳（メタデータ） (2024-02-21T11:27:31Z) - Multi-level biomedical NER through multi-granularity embeddings and
enhanced labeling [3.8599767910528917]
本稿では,複数のモデルの強みを統合するハイブリッドアプローチを提案する。
BERTは、文脈化された単語の埋め込み、文字レベルの情報キャプチャのための事前訓練されたマルチチャネルCNN、およびテキスト内の単語間の依存関係のシーケンスラベリングとモデル化のためのBiLSTM + CRFを提供する。
我々は、ベンチマークi2b2/2010データセットを用いて、F1スコア90.11を達成する。
論文 参考訳（メタデータ） (2023-12-24T21:45:36Z) - Exploring the In-context Learning Ability of Large Language Model for
Biomedical Concept Linking [4.8882241537236455]
本研究では,生物医学的概念リンクのための大規模モデルのコンテキスト内学習機能を活用する手法について検討する。
提案手法は2段階のレトリーブ・アンド・ランク・フレームワークを採用する。
BC5CDRの病体正規化では90.%、化学体正規化では94.7%の精度を達成した。
論文 参考訳（メタデータ） (2023-07-03T16:19:50Z) - LLaVA-Med: Training a Large Language-and-Vision Assistant for
Biomedicine in One Day [85.19963303642427]
本稿では,バイオメディカルイメージのオープンな研究課題に答えられる視覚言語対話アシスタントを訓練するための費用効率のよいアプローチを提案する。
モデルはまず、フィギュア・キャプションのペアを使ってバイオメディカル・ボキャブラリをアライメントし、その後、オープンエンドの会話意味論を習得する。
これにより、バイオメディジンのための大規模言語と視覚アシスタントを15時間以内で(8つのA100で)訓練することができる。
論文 参考訳（メタデータ） (2023-06-01T16:50:07Z) - Fine-Tuning Large Neural Language Models for Biomedical Natural Language
Processing [55.52858954615655]
バイオメディカルNLPの微調整安定性に関する系統的研究を行った。
我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。
これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2021-12-15T04:20:35Z) - Scientific Language Models for Biomedical Knowledge Base Completion: An
Empirical Study [62.376800537374024]
我々は,KG の完成に向けた科学的 LM の研究を行い,生物医学的リンク予測を強化するために,その潜在知識を活用できるかどうかを探る。
LMモデルとKG埋め込みモデルを統合し,各入力例をいずれかのモデルに割り当てることを学ぶルータ法を用いて,性能を大幅に向上させる。
論文 参考訳（メタデータ） (2021-06-17T17:55:33Z) - Improving Biomedical Pretrained Language Models with Knowledge [22.61591249168801]
UMLS知識基盤の知識を明示的に活用したバイオメディカルプリトレーニング言語モデル「KeBioLM」を提案します。
具体的には、PubMedアブストラクトからエンティティを抽出し、UMLSにリンクします。
次に、まずテキストのみのエンコーディング層を適用してエンティティ表現を学習し、集合エンティティ表現にテキストエンティティ融合エンコーディングを適用するナレッジアウェア言語モデルを訓練する。
論文 参考訳（メタデータ） (2021-04-21T03:57:26Z) - Boosting Low-Resource Biomedical QA via Entity-Aware Masking Strategies [25.990479833023166]
バイオメディカル質問応答(QA)は、膨大な科学文献から高品質な情報を提供する能力に注目が集まっている。
バイオメディカル・エンティティ・アウェア・マスキング(BEM)と呼ばれるシンプルなアプローチを提案する。
マスク付き言語モデルにより、ドメインを特徴づける重要なエンティティに基づいてエンティティ中心の知識を学び、それらのエンティティをLM微調整の推進に活用します。
実験結果から, バイオメディカルQAデータセットにおける最先端モデルと同等の性能を示す。
論文 参考訳（メタデータ） (2021-02-16T18:51:13Z) - Benchmark and Best Practices for Biomedical Knowledge Graph Embeddings [8.835844347471626]
SNOMED-CT知識グラフ上に,いくつかの最先端知識グラフ埋め込みモデルを学習する。
本稿では,バイオメディカル知識表現の学習に知識グラフのマルチリレーショナルな性質を活用することの重要性を論じる。
論文 参考訳（メタデータ） (2020-06-24T14:47:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。