論文の概要: Endowing Protein Language Models with Structural Knowledge

• arxiv url: http://arxiv.org/abs/2401.14819v1
• Date: Fri, 26 Jan 2024 12:47:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-29 15:16:48.373250
• Title: Endowing Protein Language Models with Structural Knowledge
• Title（参考訳）: 構造知識を用いたタンパク質言語モデルの構築
• Authors: Dexiong Chen, Philip Hartout, Paolo Pellizzoni, Carlos Oliver, Karsten Borgwardt
• Abstract要約: 本稿では,タンパク質構造データを統合することにより,タンパク質言語モデルを強化する新しいフレームワークを提案する。 PST(Protein Structure Transformer)と呼ばれる精製モデルは、小さなタンパク質構造データベース上でさらに事前訓練されている。 PSTは、タンパク質配列の最先端基盤モデルであるESM-2を一貫して上回り、タンパク質機能予測の新しいベンチマークを設定している。
• 参考スコア（独自算出の注目度）: 5.587293092389789
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the relationships between protein sequence, structure and function is a long-standing biological challenge with manifold implications from drug design to our understanding of evolution. Recently, protein language models have emerged as the preferred method for this challenge, thanks to their ability to harness large sequence databases. Yet, their reliance on expansive sequence data and parameter sets limits their flexibility and practicality in real-world scenarios. Concurrently, the recent surge in computationally predicted protein structures unlocks new opportunities in protein representation learning. While promising, the computational burden carried by such complex data still hinders widely-adopted practical applications. To address these limitations, we introduce a novel framework that enhances protein language models by integrating protein structural data. Drawing from recent advances in graph transformers, our approach refines the self-attention mechanisms of pretrained language transformers by integrating structural information with structure extractor modules. This refined model, termed Protein Structure Transformer (PST), is further pretrained on a small protein structure database, using the same masked language modeling objective as traditional protein language models. Empirical evaluations of PST demonstrate its superior parameter efficiency relative to protein language models, despite being pretrained on a dataset comprising only 542K structures. Notably, PST consistently outperforms the state-of-the-art foundation model for protein sequences, ESM-2, setting a new benchmark in protein function prediction. Our findings underscore the potential of integrating structural information into protein language models, paving the way for more effective and efficient protein modeling Code and pretrained models are available at https://github.com/BorgwardtLab/PST.
• Abstract（参考訳）: タンパク質配列、構造、機能の間の関係を理解することは、薬物設計から進化の理解への多様体の影響に関する長年にわたる生物学的課題である。 近年,大規模シーケンシャルデータベースを活用したタンパク質言語モデルが,この課題に好まれる手法として登場している。 しかし、拡張シーケンスデータとパラメータセットに依存することで、現実のシナリオにおける柔軟性と実用性が制限される。 同時に、最近の計算によって予測されるタンパク質構造の増加は、タンパク質表現学習の新しい機会を解き放つ。 このような複雑なデータによってもたらされる計算負荷は、まだ広く採用されている実用的な応用を妨げる。 これらの制約に対処するために,タンパク質構造データを統合することにより,タンパク質言語モデルを強化する新しい枠組みを提案する。 近年のグラフ変換器の進歩から,構造情報と構造抽出モジュールを統合することにより,事前学習言語変換器の自己認識機構を改良する。 この改良されたモデルであるタンパク質構造トランスフォーマー(pst)は、従来のタンパク質言語モデルと同じマスク言語モデリング目標を用いて、小さなタンパク質構造データベース上でさらに事前訓練されている。 PSTの実験的評価は,542K構造のみからなるデータセット上で事前訓練されているにもかかわらず,タンパク質言語モデルと比較して優れたパラメータ効率を示す。 特にPSTは、タンパク質配列の最先端基盤モデルであるESM-2を一貫して上回り、タンパク質機能予測の新しいベンチマークを設定している。 我々の発見は、構造情報をタンパク質言語モデルに統合し、より効率的かつ効率的なタンパク質モデリングの道を開く可能性を、https://github.com/BorgwardtLab/PSTで示している。

関連論文リスト

• SFM-Protein: Integrative Co-evolutionary Pre-training for Advanced Protein Sequence Representation [97.99658944212675]
  タンパク質基盤モデルのための新しい事前学習戦略を導入する。 アミノ酸残基間の相互作用を強調し、短距離および長距離の共進化的特徴の抽出を強化する。 大規模タンパク質配列データセットを用いて学習し,より優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-10-31T15:22:03Z)
• CPE-Pro: A Structure-Sensitive Deep Learning Method for Protein Representation and Origin Evaluation [7.161099050722313]
  タンパク質構造評価用結晶対予測学習モデル(CPE-Pro)を開発した。 CPE-Proはタンパク質の構造情報を学習し、構造間の差異を捉え、4つのデータクラスの正確なトレーサビリティを実現する。 我々は Foldseek を用いてタンパク質構造を「構造配列」にエンコードし、タンパク質構造配列言語モデル SSLM を訓練した。
  論文  参考訳（メタデータ） (2024-10-21T02:21:56Z)
• Structure-Informed Protein Language Model [38.019425619750265]
  本稿では、構造情報をタンパク質言語モデルに抽出するためのリモートホモロジー検出の統合について紹介する。 この構造インフォームドトレーニングが下流タンパク質機能予測タスクに与える影響を評価する。
  論文  参考訳（メタデータ） (2024-02-07T09:32:35Z)
• xTrimoPGLM: Unified 100B-Scale Pre-trained Transformer for Deciphering the Language of Protein [76.18058946124111]
  本稿では,タンパク質の理解と生成を同時に行うために,統一されたタンパク質言語モデル xTrimoPGLM を提案する。 xTrimoPGLMは、4つのカテゴリにわたる18のタンパク質理解ベンチマークにおいて、他の高度なベースラインを著しく上回っている。 また、自然の原理に従ってデノボタンパク質配列を生成でき、微調整を監督した後にプログラム可能な生成を行うことができる。
  論文  参考訳（メタデータ） (2024-01-11T15:03:17Z)
• CCPL: Cross-modal Contrastive Protein Learning [47.095862120116976]
  我々は、新しい教師なしタンパク質構造表現事前学習法、クロスモーダルコントラスト型タンパク質学習(CCPL)を導入する。 CCPLは堅牢なタンパク質言語モデルを活用し、教師なしのコントラストアライメントを用いて構造学習を強化する。 さまざまなベンチマークでモデルを評価し,フレームワークの優位性を実証した。
  論文  参考訳（メタデータ） (2023-03-19T08:19:10Z)
• Structure-informed Language Models Are Protein Designers [69.70134899296912]
  配列ベースタンパク質言語モデル(pLM)の汎用的手法であるLM-Designを提案する。 pLMに軽量な構造アダプターを埋め込んだ構造手術を行い,構造意識を付加した構造手術を行った。 実験の結果,我々の手法は最先端の手法よりも大きなマージンで優れていることがわかった。
  論文  参考訳（メタデータ） (2023-02-03T10:49:52Z)
• PSP: Million-level Protein Sequence Dataset for Protein Structure Prediction [34.11168458572554]
  PSPと命名された,高いカバレッジと多様性を持つ最初の100万レベルのタンパク質構造予測データセットを提示する。 このデータセットは570k真構造配列(10TB)と745k相補的蒸留配列(15TB)からなる。 また、このデータセット上でのSOTAタンパク質構造予測モデルのベンチマークトレーニング手順も提供する。
  論文  参考訳（メタデータ） (2022-06-24T14:08:44Z)
• Learning Geometrically Disentangled Representations of Protein Folding Simulations [72.03095377508856]
  この研究は、薬物標的タンパク質の構造的アンサンブルに基づいて生成ニューラルネットワークを学習することに焦点を当てている。 モデル課題は、様々な薬物分子に結合したタンパク質の構造的変動を特徴付けることである。 その結果,我々の幾何学的学習に基づく手法は,複雑な構造変化を生成するための精度と効率の両方を享受できることがわかった。
  論文  参考訳（メタデータ） (2022-05-20T19:38:00Z)
• Structure-aware Protein Self-supervised Learning [50.04673179816619]
  本稿では,タンパク質の構造情報を取得するための構造認識型タンパク質自己教師学習法を提案する。 特に、タンパク質構造情報を保存するために、よく設計されたグラフニューラルネットワーク(GNN)モデルを事前訓練する。 タンパク質言語モデルにおける逐次情報と特別に設計されたGNNモデルにおける構造情報との関係を,新しい擬似二段階最適化手法を用いて同定する。
  論文  参考訳（メタデータ） (2022-04-06T02:18:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。