論文の概要: TwinBooster: Synergising Large Language Models with Barlow Twins and
Gradient Boosting for Enhanced Molecular Property Prediction
- arxiv url: http://arxiv.org/abs/2401.04478v1
- Date: Tue, 9 Jan 2024 10:36:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 16:10:26.475027
- Title: TwinBooster: Synergising Large Language Models with Barlow Twins and
Gradient Boosting for Enhanced Molecular Property Prediction
- Title（参考訳）: TwinBooster: 分子特性予測のための大言語モデルのバローツインとグラディエントブースティング
- Authors: Maximilian G. Schuh, Davide Boldini, Stephan A. Sieber
- Abstract要約: 本研究では, 微調整された大規模言語モデルを用いて, テキスト情報に基づく生物学的アッセイを統合する。
このアーキテクチャは、測定情報と分子指紋の両方を使用して、真の分子情報を抽出する。
TwinBoosterは最先端のゼロショット学習タスクを提供することで、目に見えないバイオアッセイや分子の性質の予測を可能にする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The success of drug discovery and development relies on the precise
prediction of molecular activities and properties. While in silico molecular
property prediction has shown remarkable potential, its use has been limited so
far to assays for which large amounts of data are available. In this study, we
use a fine-tuned large language model to integrate biological assays based on
their textual information, coupled with Barlow Twins, a Siamese neural network
using a novel self-supervised learning approach. This architecture uses both
assay information and molecular fingerprints to extract the true molecular
information. TwinBooster enables the prediction of properties of unseen
bioassays and molecules by providing state-of-the-art zero-shot learning tasks.
Remarkably, our artificial intelligence pipeline shows excellent performance on
the FS-Mol benchmark. This breakthrough demonstrates the application of deep
learning to critical property prediction tasks where data is typically scarce.
By accelerating the early identification of active molecules in drug discovery
and development, this method has the potential to help streamline the
identification of novel therapeutics.
- Abstract（参考訳）: 医薬品の発見と開発の成功は、分子活性と性質の正確な予測に依存する。
ケイ素の分子特性予測では顕著なポテンシャルが示されているが、その使用法は大量のデータが利用可能なアッセイに限られている。
本研究では,テキスト情報に基づく生物学的アッセイと,新たな自己教師型学習アプローチを用いたシームズニューラルネットワークであるBarlow Twinsを併用した,微調整された大規模言語モデルを用いた。
このアーキテクチャは、測定情報と分子指紋の両方を使って真の分子情報を抽出する。
TwinBoosterは最先端のゼロショット学習タスクを提供することで、目に見えないバイオアッセイや分子の性質の予測を可能にする。
注目すべきは、私たちの人工知能パイプラインがFS-Molベンチマークで優れたパフォーマンスを示していることです。
このブレークスルーは、データは通常不足している重要な特性予測タスクへのディープラーニングの適用を実証している。
薬物の発見および開発における活性分子の早期同定を促進させることにより、この方法は新規治療法の同定を合理化する可能性を秘めている。
関連論文リスト
- MoleculeCLA: Rethinking Molecular Benchmark via Computational Ligand-Target Binding Analysis [18.940529282539842]
約140,000個の小分子からなる大規模かつ高精度な分子表現データセットを構築した。
我々のデータセットは、モデルの開発と設計をガイドするために、重要な物理化学的解釈性を提供します。
このデータセットは、分子表現学習のためのより正確で信頼性の高いベンチマークとして機能すると考えています。
論文 参考訳（メタデータ） (2024-06-13T02:50:23Z) - Contrastive Dual-Interaction Graph Neural Network for Molecular Property Prediction [0.0]
本稿では,分子特性予測のための自己教師付きグラフニューラルネットワークフレームワークであるDIG-Molを紹介する。
DIG-Molは2つの相互接続ネットワークと運動量蒸留ネットワークを統合し、分子特性を効率的に改善する。
我々は,様々な分子特性予測タスクにおける広範囲な実験的評価により,DIG-Molの最先端性能を確立した。
論文 参考訳（メタデータ） (2024-05-04T10:09:27Z) - Leveraging Biomolecule and Natural Language through Multi-Modal
Learning: A Survey [75.47055414002571]
生物分子モデリングと自然言語(BL)の統合は、人工知能、化学、生物学の交差点において有望な学際領域として現れてきた。
生体分子と自然言語の相互モデリングによって達成された最近の進歩について分析する。
論文 参考訳（メタデータ） (2024-03-03T14:59:47Z) - MultiModal-Learning for Predicting Molecular Properties: A Framework Based on Image and Graph Structures [2.5563339057415218]
MolIGは、画像とグラフ構造に基づいて分子特性を予測するための、新しいMultiModaL分子事前学習フレームワークである。
両者の分子表現の強さを融合させる。
ベンチマークグループ内の分子特性予測に関連する下流タスクでは、パフォーマンスが向上する。
論文 参考訳（メタデータ） (2023-11-28T10:28:35Z) - Extracting Molecular Properties from Natural Language with Multimodal
Contrastive Learning [1.3717673827807508]
本研究では,分子特性情報を自然言語からグラフ表現へ伝達する方法について検討する。
我々は, テキスト検索を改善するために, ニューラル関連評価戦略を実装し, 化学的に有意な分子グラフ増強戦略を導入する。
グラフモダリティだけで事前学習されたモデルに対するAUROCの利得は+4.26%、最近提案された分子グラフ/テキストの対照的に訓練されたMoMuモデルに比べて+1.54%向上する。
論文 参考訳（メタデータ） (2023-07-22T10:32:58Z) - Bi-level Contrastive Learning for Knowledge-Enhanced Molecule
Representations [55.42602325017405]
本稿では,分子の2レベル構造を考慮した新しいGODE法を提案する。
異なるグラフ構造上で2つのグラフニューラルネットワーク(GNN)を事前訓練し、対照的な学習と組み合わせることで、GODEは分子構造を対応する知識グラフサブ構造と融合させる。
11の化学特性タスクを微調整した場合、我々のモデルは既存のベンチマークよりも優れており、分類タスクの平均ROC-AUCアップリフトは13.8%、回帰タスクの平均RMSE/MAEエンハンスメントは35.1%である。
論文 参考訳（メタデータ） (2023-06-02T15:49:45Z) - Implicit Geometry and Interaction Embeddings Improve Few-Shot Molecular
Property Prediction [53.06671763877109]
我々は, 複雑な分子特性を符号化した分子埋め込みを開発し, 数発の分子特性予測の性能を向上させる。
我々の手法は大量の合成データ、すなわち分子ドッキング計算の結果を利用する。
複数の分子特性予測ベンチマークでは、埋め込み空間からのトレーニングにより、マルチタスク、MAML、プロトタイプラーニング性能が大幅に向上する。
論文 参考訳（メタデータ） (2023-02-04T01:32:40Z) - A Molecular Multimodal Foundation Model Associating Molecule Graphs with
Natural Language [63.60376252491507]
本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。
我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
論文 参考訳（メタデータ） (2022-09-12T00:56:57Z) - Graph neural networks for the prediction of molecular structure-property
relationships [59.11160990637615]
グラフニューラルネットワーク(GNN)は、分子グラフ上で直接動作する新しい機械学習手法である。
GNNは、エンドツーエンドでプロパティを学習できるため、情報記述子の必要性を回避することができる。
本稿では、分子特性予測のための2つの例を通して、GNNの基礎を説明し、GNNの応用を実証する。
論文 参考訳（メタデータ） (2022-07-25T11:30:44Z) - Do Large Scale Molecular Language Representations Capture Important
Structural Information? [31.76876206167457]
本稿では,MoLFormerと呼ばれる効率的なトランスフォーマーエンコーダモデルのトレーニングにより得られた分子埋め込みについて述べる。
実験の結果,グラフベースおよび指紋ベースによる教師付き学習ベースラインと比較して,学習された分子表現が競合的に機能することが確認された。
論文 参考訳（メタデータ） (2021-06-17T14:33:55Z) - Self-Supervised Graph Transformer on Large-Scale Molecular Data [73.3448373618865]
分子表現学習のための新しいフレームワークGROVERを提案する。
GROVERは、分子の豊富な構造的および意味的な情報を、巨大な未標識分子データから学習することができる。
分子表現学習において、最大のGNNであり、最大のトレーニングデータセットである、1000万個の未標識分子に1億のパラメータを持つGROVERを事前訓練します。
論文 参考訳（メタデータ） (2020-06-18T08:37:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。