論文の概要: BioBridge: Bridging Biomedical Foundation Models via Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2310.03320v4
• Date: Fri, 19 Jan 2024 02:47:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 18:54:50.467697
• Title: BioBridge: Bridging Biomedical Foundation Models via Knowledge Graphs
• Title（参考訳）: BioBridge:知識グラフによるバイオメディカル基礎モデルのブリッジ
• Authors: Zifeng Wang, Zichen Wang, Balasubramaniam Srinivasan, Vassilis N. Ioannidis, Huzefa Rangwala, Rishita Anubhai
• Abstract要約: 独立に訓練された単調FMをブリッジしてマルチモーダル動作を確立するための,パラメータ効率のよい新しい学習フレームワークであるBioBridgeを提案する。 実験結果から,BioBridgeは最高基準のKG埋め込み法に勝ることを示した。 また、BioBridgeは、未知のモダリティや関係を外挿することで、ドメイン外一般化能力を示す。
• 参考スコア（独自算出の注目度）: 27.32543389443672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models (FMs) are able to leverage large volumes of unlabeled data to demonstrate superior performance across a wide range of tasks. However, FMs developed for biomedical domains have largely remained unimodal, i.e., independently trained and used for tasks on protein sequences alone, small molecule structures alone, or clinical data alone. To overcome this limitation of biomedical FMs, we present BioBridge, a novel parameter-efficient learning framework, to bridge independently trained unimodal FMs to establish multimodal behavior. BioBridge achieves it by utilizing Knowledge Graphs (KG) to learn transformations between one unimodal FM and another without fine-tuning any underlying unimodal FMs. Our empirical results demonstrate that BioBridge can beat the best baseline KG embedding methods (on average by around 76.3%) in cross-modal retrieval tasks. We also identify BioBridge demonstrates out-of-domain generalization ability by extrapolating to unseen modalities or relations. Additionally, we also show that BioBridge presents itself as a general purpose retriever that can aid biomedical multimodal question answering as well as enhance the guided generation of novel drugs.
• Abstract（参考訳）: 基盤モデル(fms)は、大量のラベルのないデータを活用し、幅広いタスクで優れたパフォーマンスを示すことができる。 しかし、生体医学領域向けに開発されたfmsは、独立に訓練され、タンパク質配列のみ、小分子構造のみ、臨床データのみのタスクに使用されている。 このようなバイオメディカルFMの限界を克服するため,新しいパラメータ効率学習フレームワークであるBioBridgeを提案し,独立に訓練された単調FMを橋渡しし,マルチモーダルな動作を確立する。 BioBridgeは、知識グラフ(KG)を使用して、基礎となる一助的FMを微調整することなく、1つの一助的FMともう1つの間の変換を学習する。 実験の結果,BioBridgeは,クロスモーダル検索タスクにおいて,最高のベースラインKG埋め込み手法(平均76.3%)を克服できることが示された。 また、BioBridgeは、未知のモダリティや関係を外挿することで、ドメイン外一般化能力を示す。 また,バイオブリッジは,生物医学的マルチモーダル質問応答を支援できる汎用レトリバーとして自らを提示し,新規医薬品の誘導生成を促進する。

関連論文リスト

• BSM: Small but Powerful Biological Sequence Model for Genes and Proteins [6.6055625629542085]
  小型ながら強力な混合モード生物配列基盤モデルであるBSMを導入する。 RefSeq、Gene Related Sequences、およびWebから生物学的シークエンスをインターリーブした3種類のデータに基づいてトレーニングされている。 学習効率とクロスモーダル表現を著しく向上させ、非モーダルデータにのみ訓練されたモデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-15T11:12:28Z)
• CryoFM: A Flow-based Foundation Model for Cryo-EM Densities [50.291974465864364]
  生成モデルとして設計された基礎モデルであるCryoFMについて,高品質密度マップの分布を学習する。 フローマッチングに基づいて構築されたCryoFMは、生物分子密度マップの以前の分布を正確に捉えるために訓練されている。
  論文  参考訳（メタデータ） (2024-10-11T08:53:58Z)
• Progress and Opportunities of Foundation Models in Bioinformatics [77.74411726471439]
  基礎モデル(FM)は、特に深層学習の領域において、計算生物学の新しい時代に定着した。 我々の焦点は、特定の生物学的問題にFMを応用することであり、研究ニーズに適切なFMを選択するために研究コミュニティを指導することを目的としています。 データノイズ、モデル説明可能性、潜在的なバイアスなど、生物学においてFMが直面する課題と限界を分析します。
  論文  参考訳（メタデータ） (2024-02-06T02:29:17Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• ProBio: A Protocol-guided Multimodal Dataset for Molecular Biology Lab [67.24684071577211]
  研究結果を複製するという課題は、分子生物学の分野に重大な障害をもたらしている。 まず、この目的に向けた最初のステップとして、ProBioという名前の包括的なマルチモーダルデータセットをキュレートする。 次に、透明なソリューショントラッキングとマルチモーダルなアクション認識という2つの挑戦的なベンチマークを考案し、BioLab設定におけるアクティビティ理解に関連する特徴と難しさを強調した。
  論文  参考訳（メタデータ） (2023-11-01T14:44:01Z)
• Towards Generalist Biomedical AI [28.68106423175678]
  我々は,汎用バイオメディカルAIシステムの概念実証であるMed-PaLM Multimodal(Med-PaLM M)を紹介する。 Med-PaLM Mは、バイオメディカルデータを柔軟にエンコードし解釈する大規模なマルチモーダル生成モデルである。 モデル生成(およびヒト)胸部X線検査の放射線学的評価を行い, モデルスケールでの性能向上を観察した。
  論文  参考訳（メタデータ） (2023-07-26T17:52:22Z)
• BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)
• BiomedCLIP: a multimodal biomedical foundation model pretrained from fifteen million scientific image-text pairs [48.376109878173956]
  PMC-15Mは,既存のバイオメディカル・マルチモーダル・データセットよりも2桁大きい新しいデータセットである。 PMC-15Mは440万の科学論文から収集された1500万のバイオメディカル画像テキスト対を含んでいる。 PMC-15Mに基づいて,生物医学的視覚言語処理に適したドメイン固有適応を備えた多モーダル基礎モデルであるBiomedCLIPを事前訓練した。
  論文  参考訳（メタデータ） (2023-03-02T02:20:04Z)
• BioADAPT-MRC: Adversarial Learning-based Domain Adaptation Improves Biomedical Machine Reading Comprehension Task [4.837365865245979]
  本稿では,生物医学機械読解作業のための逆学習に基づくドメイン適応フレームワークを提案する。 BioADAPT-MRCは、一般的なドメインデータセットとバイオメディカルドメインデータセットの間の限界分布の相違に対処するニューラルネットワークベースの手法である。
  論文  参考訳（メタデータ） (2022-02-26T16:14:27Z)
• BioALBERT: A Simple and Effective Pre-trained Language Model for Biomedical Named Entity Recognition [9.05154470433578]
  既存のBioNERアプローチはこれらの問題を無視し、最先端(SOTA)モデルを直接採用することが多い。 本稿では,大規模バイオメディカルコーパスを用いた効果的なドメイン固有言語モデルであるALBERTを提案する。
  論文  参考訳（メタデータ） (2020-09-19T12:58:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。