論文の概要: When Geometric Deep Learning Meets Pretrained Protein Language Models
- arxiv url: http://arxiv.org/abs/2212.03447v1
- Date: Wed, 7 Dec 2022 04:04:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 17:27:34.561064
- Title: When Geometric Deep Learning Meets Pretrained Protein Language Models
- Title(参考訳): 幾何学的深層学習が事前学習されたタンパク質言語モデルと出会うとき
- Authors: Fang Wu, Yu Tao, Dragomir Radev, Jinbo Xu
- Abstract要約: 我々は、よく訓練されたタンパク質言語モデルから学んだ知識を、いくつかの最先端の幾何学的ネットワークに統合する。
タンパク質-タンパク質界面予測、モデル品質評価、タンパク質-タンパク質剛体ドッキング、結合親和性予測など、さまざまなタンパク質表現学習ベンチマークを用いて実験を行った。
強い証拠は、タンパク質言語モデルの知識の組み入れが幾何ネットワークの能力を大幅に向上させ、複雑なタスクに一般化できることを示唆している。
- 参考スコア(独自算出の注目度): 12.7324227710362
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Geometric deep learning has recently achieved great success in non-Euclidean
domains, and learning on 3D structures of large biomolecules is emerging as a
distinct research area. However, its efficacy is largely constrained due to the
limited quantity of structural data. Meanwhile, protein language models trained
on substantial 1D sequences have shown burgeoning capabilities with scale in a
broad range of applications. Nevertheless, no preceding studies consider
combining these different protein modalities to promote the representation
power of geometric neural networks. To address this gap, we make the foremost
step to integrate the knowledge learned by well-trained protein language models
into several state-of-the-art geometric networks. Experiments are evaluated on
a variety of protein representation learning benchmarks, including
protein-protein interface prediction, model quality assessment, protein-protein
rigid-body docking, and binding affinity prediction, leading to an overall
improvement of 20% over baselines and the new state-of-the-art performance.
Strong evidence indicates that the incorporation of protein language models'
knowledge enhances geometric networks' capacity by a significant margin and can
be generalized to complex tasks.
- Abstract(参考訳): 幾何学的深層学習は、最近、非ユークリッド領域で大きな成功を収め、大きな生体分子の3次元構造を学習することが、別の研究領域として浮上している。
しかし、その有効性は構造データが限られているため、大きく制約されている。
一方、1Dシークエンスで訓練されたタンパク質言語モデルでは、広範囲のアプリケーションで拡張性を示す。
それにもかかわらず、幾何学的ニューラルネットワークの表現力を促進するためにこれらの異なるタンパク質のモダリティを組み合わせることを検討する以前の研究はない。
このギャップに対処するため、よく訓練されたタンパク質言語モデルから学んだ知識を、いくつかの最先端の幾何学的ネットワークに統合する最善の一歩を踏み出した。
実験は、タンパク質-タンパク質界面予測、モデル品質評価、タンパク質-タンパク質剛体ドッキング、結合親和性予測など、さまざまなタンパク質表現学習ベンチマークで評価され、ベースラインよりも20%改善され、新しい最先端のパフォーマンスが得られた。
強い証拠は、タンパク質言語モデルの知識の組み入れが幾何ネットワークの能力を大幅に向上させ、複雑なタスクに一般化できることを示唆している。
関連論文リスト
- Geometric Self-Supervised Pretraining on 3D Protein Structures using Subgraphs [25.93347924265175]
本稿では,3次元タンパク質構造上の3次元グラフニューラルネットワークを事前学習するための自己教師型手法を提案する。
サブグラフとグローバルなタンパク質構造との関係を考慮することで、このモデルはこれらの階層的な組織レベルについて推論することを学ぶことができる。
論文 参考訳(メタデータ) (2024-06-20T09:34:31Z) - xTrimoPGLM: Unified 100B-Scale Pre-trained Transformer for Deciphering
the Language of Protein [76.18058946124111]
本稿では,タンパク質の理解と生成を同時に行うために,統一されたタンパク質言語モデル xTrimoPGLM を提案する。
xTrimoPGLMは、4つのカテゴリにわたる18のタンパク質理解ベンチマークにおいて、他の高度なベースラインを著しく上回っている。
また、自然の原理に従ってデノボタンパク質配列を生成でき、微調整を監督した後にプログラム可能な生成を行うことができる。
論文 参考訳(メタデータ) (2024-01-11T15:03:17Z) - Generative Pretrained Autoregressive Transformer Graph Neural Network
applied to the Analysis and Discovery of Novel Proteins [0.0]
本稿では,タンパク質モデリングにおける複雑な前方および逆問題を解決するために,フレキシブル言語モデルに基づくディープラーニング戦略を適用した。
本モデルを用いて, 二次構造含量(残量レベル, 全体含量), タンパク質溶解度, シークエンシングタスクの予測を行った。
追加タスクを追加することで、モデルが全体的なパフォーマンスを改善するために活用する創発的なシナジーが得られることが分かりました。
論文 参考訳(メタデータ) (2023-05-07T12:30:24Z) - Structure-informed Language Models Are Protein Designers [69.70134899296912]
配列ベースタンパク質言語モデル(pLM)の汎用的手法であるLM-Designを提案する。
pLMに軽量な構造アダプターを埋め込んだ構造手術を行い,構造意識を付加した構造手術を行った。
実験の結果,我々の手法は最先端の手法よりも大きなマージンで優れていることがわかった。
論文 参考訳(メタデータ) (2023-02-03T10:49:52Z) - Contrastive Representation Learning for 3D Protein Structures [13.581113136149469]
本稿では3次元タンパク質構造のための新しい表現学習フレームワークを提案する。
我々のフレームワークは、教師なしのコントラスト学習を用いて、タンパク質構造の意味のある表現を学習する。
これらの表現は、タンパク質機能予測、タンパク質の折りたたみ分類、構造的類似性予測、タンパク質-リガンド結合親和性予測など、様々なタスクを解くためにどのように使用できるかを示す。
論文 参考訳(メタデータ) (2022-05-31T10:33:06Z) - Learning Geometrically Disentangled Representations of Protein Folding
Simulations [72.03095377508856]
この研究は、薬物標的タンパク質の構造的アンサンブルに基づいて生成ニューラルネットワークを学習することに焦点を当てている。
モデル課題は、様々な薬物分子に結合したタンパク質の構造的変動を特徴付けることである。
その結果,我々の幾何学的学習に基づく手法は,複雑な構造変化を生成するための精度と効率の両方を享受できることがわかった。
論文 参考訳(メタデータ) (2022-05-20T19:38:00Z) - Structure-aware Protein Self-supervised Learning [50.04673179816619]
本稿では,タンパク質の構造情報を取得するための構造認識型タンパク質自己教師学習法を提案する。
特に、タンパク質構造情報を保存するために、よく設計されたグラフニューラルネットワーク(GNN)モデルを事前訓練する。
タンパク質言語モデルにおける逐次情報と特別に設計されたGNNモデルにおける構造情報との関係を,新しい擬似二段階最適化手法を用いて同定する。
論文 参考訳(メタデータ) (2022-04-06T02:18:41Z) - PersGNN: Applying Topological Data Analysis and Geometric Deep Learning
to Structure-Based Protein Function Prediction [0.07340017786387766]
本研究では,タンパク質構造を分離し,タンパク質データバンク内のタンパク質の機能的アノテーションを作成する。
本稿では,グラフ表現学習とトポロジカルデータ解析を組み合わせた,エンドツーエンドのトレーニング可能なディープラーニングモデルPersGNNを提案する。
論文 参考訳(メタデータ) (2020-10-30T02:24:35Z) - BERTology Meets Biology: Interpreting Attention in Protein Language
Models [124.8966298974842]
注目レンズを用いたタンパク質トランスフォーマーモデルの解析方法を示す。
注意はタンパク質の折りたたみ構造を捉え、基礎となる配列では遠く離れているが、三次元構造では空間的に近接しているアミノ酸を接続する。
また、注意とタンパク質構造との相互作用を三次元的に可視化する。
論文 参考訳(メタデータ) (2020-06-26T21:50:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。