論文の概要: Scientific Language Models for Biomedical Knowledge Base Completion: An Empirical Study

• arxiv url: http://arxiv.org/abs/2106.09700v1
• Date: Thu, 17 Jun 2021 17:55:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-06-18 16:10:31.641252
• Title: Scientific Language Models for Biomedical Knowledge Base Completion: An Empirical Study
• Title（参考訳）: バイオメディカル知識ベース完成のための科学的言語モデル:実証的研究
• Authors: Rahul Nadkarni, David Wadden, Iz Beltagy, Noah A. Smith, Hannaneh Hajishirzi, Tom Hope
• Abstract要約: 我々は,KG の完成に向けた科学的 LM の研究を行い,生物医学的リンク予測を強化するために,その潜在知識を活用できるかどうかを探る。 LMモデルとKG埋め込みモデルを統合し,各入力例をいずれかのモデルに割り当てることを学ぶルータ法を用いて,性能を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 62.376800537374024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Biomedical knowledge graphs (KGs) hold rich information on entities such as diseases, drugs, and genes. Predicting missing links in these graphs can boost many important applications, such as drug design and repurposing. Recent work has shown that general-domain language models (LMs) can serve as "soft" KGs, and that they can be fine-tuned for the task of KG completion. In this work, we study scientific LMs for KG completion, exploring whether we can tap into their latent knowledge to enhance biomedical link prediction. We evaluate several domain-specific LMs, fine-tuning them on datasets centered on drugs and diseases that we represent as KGs and enrich with textual entity descriptions. We integrate the LM-based models with KG embedding models, using a router method that learns to assign each input example to either type of model and provides a substantial boost in performance. Finally, we demonstrate the advantage of LM models in the inductive setting with novel scientific entities. Our datasets and code are made publicly available.
• Abstract（参考訳）: 生体医学知識グラフ(kgs)は、疾患、薬物、遺伝子などの実体に関する豊富な情報を持っている。 これらのグラフに欠落するリンクを予測することは、ドラッグデザインや再購入など、多くの重要な応用を促進する可能性がある。 近年の研究では、ジェネラルドメイン言語モデル(LM)が「ソフト」なKGとして機能し、KG完了のタスクのために微調整できることが示されている。 そこで本研究では,KG 完成のための科学的 LM について検討し,生物医学的リンク予測を強化するために潜伏した知識を活用できるかどうかを考察する。 いくつかのドメイン固有のLMを評価し、KGとして表現する薬物や疾患を中心としたデータセットを微調整し、テキストエンティティ記述に富む。 LMモデルとKG埋め込みモデルを統合し,各入力例をいずれかのモデルに割り当てることを学ぶルータ法を用いて,性能を大幅に向上させる。 最後に,新しい科学的実体を用いた帰納的設定におけるlmモデルの利点を示す。 データセットとコードは公開されています。

関連論文リスト

• Biomedical Foundation Model: A Survey [84.26268124754792]
  ファンデーションモデルは、広範なラベルなしデータセットから学習する大規模な事前訓練モデルである。 これらのモデルは、質問応答や視覚的理解といった様々な応用に適応することができる。 本研究は,生物医学分野における基礎モデルの可能性を探るものである。
  論文  参考訳（メタデータ） (2025-03-03T22:42:00Z)
• BIOMEDICA: An Open Biomedical Image-Caption Archive, Dataset, and Vision-Language Models Derived from Scientific Literature [73.39593644054865]
  BIOMEDICAはスケーラブルでオープンソースのフレームワークで、PubMed Central Open Accessサブセット全体を抽出、注釈付け、シリアライズして、使いやすく、公開可能なデータセットにする。 われわれのフレームワークは600万以上の記事から2400万以上のユニークな画像テキストペアで包括的なアーカイブを生成する。 BMCA-CLIPは、ストリーミングを通じてBIOMEDICAデータセット上で継続的に事前トレーニングされたCLIPスタイルのモデルのスイートで、27TBのデータをローカルにダウンロードする必要がなくなる。
  論文  参考訳（メタデータ） (2025-01-13T09:58:03Z)
• Multimodal Contrastive Representation Learning in Augmented Biomedical Knowledge Graphs [2.006175707670159]
  PrimeKG++はマルチモーダルデータを組み込んだ豊富な知識グラフである。 提案手法は強い一般化可能性を示し,未知のノードに対しても正確なリンク予測を可能にする。
  論文  参考訳（メタデータ） (2025-01-03T05:29:12Z)
• LLaVA Needs More Knowledge: Retrieval Augmented Natural Language Generation with Knowledge Graph for Explaining Thoracic Pathologies [3.2221734920470797]
  医用画像のための自然言語記述(NLE)を生成するために,知識グラフ(KG)ベースのデータストアを付加したビジョンランゲージフレームワークを提案する。 本フレームワークでは,生成した説明の精度を向上するだけでなく,直接データ検索を回避してデータのプライバシーを保護できるKGベースの検索機構を採用している。 これらのフレームワークはMIMIC-NLEデータセット上で検証され、最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-10-07T04:59:08Z)
• The Role of Graph Topology in the Performance of Biomedical Knowledge Graph Completion Models [3.1666540219908272]
  我々は,一般公開されているバイオメディカル知識グラフの特性を総合的に調査する。 実世界のアプリケーションで観測された精度とリンクを確立する。 すべてのモデル予測と新しい分析ツールをリリースします。
  論文  参考訳（メタデータ） (2024-09-06T08:09:15Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• A Review on Knowledge Graphs for Healthcare: Resources, Applications, and Promises [52.31710895034573]
  この研究は、医療知識グラフ(HKG)の最初の包括的なレビューを提供する。 HKG構築のためのパイプラインと重要なテクニックを要約し、一般的な利用方法も示す。 アプリケーションレベルでは、さまざまなヘルスドメインにわたるHKGの正常な統合を検討します。
  論文  参考訳（メタデータ） (2023-06-07T21:51:56Z)
• KG-Hub -- Building and Exchanging Biological Knowledge Graphs [0.5369297590461578]
  KG-Hubは知識グラフの標準化された構築、交換、再利用を可能にするプラットフォームである。 現在のKG-Hubプロジェクトは、新型コロナウイルス研究、薬物再精製、微生物-環境相互作用、希少疾患研究などのユースケースにまたがっている。
  論文  参考訳（メタデータ） (2023-01-31T21:29:35Z)
• Large Language Models for Biomedical Knowledge Graph Construction: Information extraction from EMR notes [0.0]
  大規模言語モデル(LLM)に基づくエンドツーエンド機械学習ソリューションを提案する。 KG構築プロセスで使用される物質は、疾患、因子、治療、および疾患を経験中に患者と共存する症状である。 提案手法の応用は加齢に伴う黄斑変性に対して実証される。
  論文  参考訳（メタデータ） (2023-01-29T15:52:33Z)
• Deep Bidirectional Language-Knowledge Graph Pretraining [159.9645181522436]
  DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。 我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
  論文  参考訳（メタデータ） (2022-10-17T18:02:52Z)
• BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models [65.51390418485207]
  本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。 関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。 我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
  論文  参考訳（メタデータ） (2022-06-28T19:46:29Z)
• SumGNN: Multi-typed Drug Interaction Prediction via Efficient Knowledge Graph Summarization [64.56399911605286]
  本稿では,サブグラフ抽出モジュールによって実現された知識要約グラフニューラルネットワークSumGNNを提案する。 SumGNNは5.54%まで最高のベースラインを上回り、データ関係の低いタイプでは特にパフォーマンスの向上が顕著である。
  論文  参考訳（メタデータ） (2020-10-04T00:14:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。