論文の概要: Integration of Pre-trained Protein Language Models into Geometric Deep Learning Networks

• arxiv url: http://arxiv.org/abs/2212.03447v2
• Date: Mon, 30 Oct 2023 02:13:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 04:20:32.159091
• Title: Integration of Pre-trained Protein Language Models into Geometric Deep Learning Networks
• Title（参考訳）: 事前学習したタンパク質言語モデルの幾何学的深層学習ネットワークへの統合
• Authors: Fang Wu, Lirong Wu, Dragomir Radev, Jinbo Xu, Stan Z. Li
• Abstract要約: 我々は、タンパク質言語モデルから学んだ知識を、いくつかの最先端の幾何学的ネットワークに統合する。 以上の結果から,ベースラインを20%上回る総合的な改善が見られた。 強い証拠は、タンパク質言語モデルの知識を取り入れることで、幾何学的ネットワークの能力が著しく向上することを示している。
• 参考スコア（独自算出の注目度）: 68.90692290665648
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Geometric deep learning has recently achieved great success in non-Euclidean domains, and learning on 3D structures of large biomolecules is emerging as a distinct research area. However, its efficacy is largely constrained due to the limited quantity of structural data. Meanwhile, protein language models trained on substantial 1D sequences have shown burgeoning capabilities with scale in a broad range of applications. Several previous studies consider combining these different protein modalities to promote the representation power of geometric neural networks, but fail to present a comprehensive understanding of their benefits. In this work, we integrate the knowledge learned by well-trained protein language models into several state-of-the-art geometric networks and evaluate a variety of protein representation learning benchmarks, including protein-protein interface prediction, model quality assessment, protein-protein rigid-body docking, and binding affinity prediction. Our findings show an overall improvement of 20% over baselines. Strong evidence indicates that the incorporation of protein language models' knowledge enhances geometric networks' capacity by a significant margin and can be generalized to complex tasks.
• Abstract（参考訳）: 幾何学的深層学習は、最近、非ユークリッド領域で大きな成功を収め、大きな生体分子の3次元構造を学習することが、別の研究領域として浮上している。 しかし、その有効性は構造データが限られているため、大きく制約されている。 一方、1Dシークエンスで訓練されたタンパク質言語モデルでは、広範囲のアプリケーションで拡張性を示す。 以前のいくつかの研究では、これらの異なるタンパク質様相を組み合わせることで幾何学的ニューラルネットワークの表現力を促進するが、それらの利点を包括的に理解することはできなかった。 本研究では,よく訓練されたタンパク質言語モデルから得られた知識を,いくつかの最先端幾何学的ネットワークに統合し,タンパク質-タンパク質界面予測,モデル品質評価,タンパク質-タンパク質剛体ドッキング,結合親和性予測など,さまざまなタンパク質表現学習ベンチマークを評価する。 以上の結果から,ベースラインを20%上回る総合的な改善が見られた。 強い証拠は、タンパク質言語モデルの知識の組み入れが幾何ネットワークの能力を大幅に向上させ、複雑なタスクに一般化できることを示唆している。

関連論文リスト

• SFM-Protein: Integrative Co-evolutionary Pre-training for Advanced Protein Sequence Representation [97.99658944212675]
  タンパク質基盤モデルのための新しい事前学習戦略を導入する。 アミノ酸残基間の相互作用を強調し、短距離および長距離の共進化的特徴の抽出を強化する。 大規模タンパク質配列データセットを用いて学習し,より優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-10-31T15:22:03Z)
• ProteinBench: A Holistic Evaluation of Protein Foundation Models [53.59325047872512]
  本稿では,タンパク質基盤モデルのための総合評価フレームワークであるProteinBenchを紹介する。 本研究のアプローチは, タンパク質ドメインにおける課題を包括的に包括するタスクの分類学的分類, (ii) 品質, 新規性, 多様性, 堅牢性, および (iii) 様々なユーザ目標から詳細な分析を行い, モデルパフォーマンスの全体的視点を提供する,4つの重要な側面にわたるパフォーマンスを評価するマルチメトリック評価アプローチからなる。
  論文  参考訳（メタデータ） (2024-09-10T06:52:33Z)
• Geometric Self-Supervised Pretraining on 3D Protein Structures using Subgraphs [26.727436310732692]
  本稿では,3次元タンパク質構造上の3次元グラフニューラルネットワークを事前学習するための自己教師型手法を提案する。 提案手法が6%までの大幅な改善につながることを実験的に示す。
  論文  参考訳（メタデータ） (2024-06-20T09:34:31Z)
• xTrimoPGLM: Unified 100B-Scale Pre-trained Transformer for Deciphering the Language of Protein [76.18058946124111]
  本稿では,タンパク質の理解と生成を同時に行うために,統一されたタンパク質言語モデル xTrimoPGLM を提案する。 xTrimoPGLMは、4つのカテゴリにわたる18のタンパク質理解ベンチマークにおいて、他の高度なベースラインを著しく上回っている。 また、自然の原理に従ってデノボタンパク質配列を生成でき、微調整を監督した後にプログラム可能な生成を行うことができる。
  論文  参考訳（メタデータ） (2024-01-11T15:03:17Z)
• Generative Pretrained Autoregressive Transformer Graph Neural Network applied to the Analysis and Discovery of Novel Proteins [0.0]
  本稿では,タンパク質モデリングにおける複雑な前方および逆問題を解決するために,フレキシブル言語モデルに基づくディープラーニング戦略を適用した。 本モデルを用いて, 二次構造含量(残量レベル, 全体含量), タンパク質溶解度, シークエンシングタスクの予測を行った。 追加タスクを追加することで、モデルが全体的なパフォーマンスを改善するために活用する創発的なシナジーが得られることが分かりました。
  論文  参考訳（メタデータ） (2023-05-07T12:30:24Z)
• Contrastive Representation Learning for 3D Protein Structures [13.581113136149469]
  本稿では3次元タンパク質構造のための新しい表現学習フレームワークを提案する。 我々のフレームワークは、教師なしのコントラスト学習を用いて、タンパク質構造の意味のある表現を学習する。 これらの表現は、タンパク質機能予測、タンパク質の折りたたみ分類、構造的類似性予測、タンパク質-リガンド結合親和性予測など、様々なタスクを解くためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2022-05-31T10:33:06Z)
• Learning Geometrically Disentangled Representations of Protein Folding Simulations [72.03095377508856]
  この研究は、薬物標的タンパク質の構造的アンサンブルに基づいて生成ニューラルネットワークを学習することに焦点を当てている。 モデル課題は、様々な薬物分子に結合したタンパク質の構造的変動を特徴付けることである。 その結果,我々の幾何学的学習に基づく手法は,複雑な構造変化を生成するための精度と効率の両方を享受できることがわかった。
  論文  参考訳（メタデータ） (2022-05-20T19:38:00Z)
• Structure-aware Protein Self-supervised Learning [50.04673179816619]
  本稿では,タンパク質の構造情報を取得するための構造認識型タンパク質自己教師学習法を提案する。 特に、タンパク質構造情報を保存するために、よく設計されたグラフニューラルネットワーク(GNN)モデルを事前訓練する。 タンパク質言語モデルにおける逐次情報と特別に設計されたGNNモデルにおける構造情報との関係を,新しい擬似二段階最適化手法を用いて同定する。
  論文  参考訳（メタデータ） (2022-04-06T02:18:41Z)
• PersGNN: Applying Topological Data Analysis and Geometric Deep Learning to Structure-Based Protein Function Prediction [0.07340017786387766]
  本研究では,タンパク質構造を分離し,タンパク質データバンク内のタンパク質の機能的アノテーションを作成する。 本稿では,グラフ表現学習とトポロジカルデータ解析を組み合わせた,エンドツーエンドのトレーニング可能なディープラーニングモデルPersGNNを提案する。
  論文  参考訳（メタデータ） (2020-10-30T02:24:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。