論文の概要: Beyond ESM2: Graph-Enhanced Protein Sequence Modeling with Efficient Clustering

• arxiv url: http://arxiv.org/abs/2404.15805v1
• Date: Wed, 24 Apr 2024 11:09:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 19:30:27.547301
• Title: Beyond ESM2: Graph-Enhanced Protein Sequence Modeling with Efficient Clustering
• Title（参考訳）: ESM2を超える: 効率的なクラスタリングによるグラフ強化タンパク質配列モデリング
• Authors: Shujian Jiao, Bingxuan Li, Lei Wang, Xiaojin Zhang, Wei Chen, Jiajie Peng, Zhongyu Wei,
• Abstract要約: タンパク質は生命の過程に必須であり、進化と多様性を支えている。 シークエンシング技術の進歩により数百万のタンパク質が明らかにされ、生物学的分析とAI開発のための高度な事前学習されたタンパク質モデルの必要性が強調されている。 FacebookのESM2は、これまでで最も先進的なタンパク質言語モデルであり、教師なし学習にマスク付き予測タスクを活用し、顕著な生化学的精度でアミノ酸表現を作成する。 しかし、機能的なタンパク質の洞察の提供に欠けており、表現の質を高める機会を示唆している。 本研究は,タンパク質ファミリー分類をESM2のトレーニングに組み込むことにより,このギャップに対処する。
• 参考スコア（独自算出の注目度）: 24.415612744612773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Proteins are essential to life's processes, underpinning evolution and diversity. Advances in sequencing technology have revealed millions of proteins, underscoring the need for sophisticated pre-trained protein models for biological analysis and AI development. Facebook's ESM2, the most advanced protein language model to date, leverages a masked prediction task for unsupervised learning, crafting amino acid representations with notable biochemical accuracy. Yet, it lacks in delivering functional protein insights, signaling an opportunity for enhancing representation quality.Our study addresses this gap by incorporating protein family classification into ESM2's training.This approach, augmented with Community Propagation-Based Clustering Algorithm, improves global protein representations, while a contextual prediction task fine-tunes local amino acid accuracy. Significantly, our model achieved state-of-the-art results in several downstream experiments, demonstrating the power of combining global and local methodologies to substantially boost protein representation quality.
• Abstract（参考訳）: タンパク質は生命の過程に必須であり、進化と多様性を支えている。 シークエンシング技術の進歩により数百万のタンパク質が明らかにされ、生物学的分析とAI開発のための高度な事前学習されたタンパク質モデルの必要性が強調されている。 FacebookのESM2は、これまでで最も先進的なタンパク質言語モデルであり、教師なし学習にマスク付き予測タスクを活用し、顕著な生化学的精度でアミノ酸表現を作成する。 我々の研究は、タンパク質ファミリー分類をESM2のトレーニングに組み込むことで、このギャップに対処する。このアプローチは、Community Propagation-Based Clustering Algorithmで強化され、グローバルなタンパク質表現を改善し、文脈予測タスクは局所アミノ酸の精度を微調整する。 本モデルでは,タンパク質の表現品質を著しく向上させるグローバルな手法とローカルな手法を組み合わせる能力を示すために,いくつかの下流実験で最先端の結果を得た。

関連論文リスト

• SFM-Protein: Integrative Co-evolutionary Pre-training for Advanced Protein Sequence Representation [97.99658944212675]
  タンパク質基盤モデルのための新しい事前学習戦略を導入する。 アミノ酸残基間の相互作用を強調し、短距離および長距離の共進化的特徴の抽出を強化する。 大規模タンパク質配列データセットを用いて学習し,より優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-10-31T15:22:03Z)
• Long-context Protein Language Model [76.95505296417866]
  言語モデル(LM)の自己教師による訓練は、有意義な表現の学習や創薬設計において、タンパク質配列に大きな成功を収めている。 ほとんどのタンパク質LMは、短い文脈長を持つ個々のタンパク質に基づいて訓練されたトランスフォーマーアーキテクチャに基づいている。 そこで我々は,選択的構造化状態空間モデルから構築した代替のタンパク質LMアーキテクチャであるBiMamba-Sに基づくLC-PLMを提案する。 また、第2段階のトレーニングのために、タンパク質-タンパク質相互作用グラフの文脈化を行うLC-PLM-Gも導入した。
  論文  参考訳（メタデータ） (2024-10-29T16:43:28Z)
• EMOCPD: Efficient Attention-based Models for Computational Protein Design Using Amino Acid Microenvironment [8.661662081290265]
  アミノ酸マイクロ環境(EMOCPD)を用いた効率的なタンパク質設計モデルの構築 アミノ酸を取り巻く3次元の原子環境を分析してタンパク質内の各アミノ酸のカテゴリを予測し、予測された高確率アミノ酸カテゴリに基づいてタンパク質を最適化することを目的としている。 トレーニングセットでは80%以上の精度、独立した2つのテストセットでは68.33%と62.32%の精度を実現している。
  論文  参考訳（メタデータ） (2024-10-28T14:31:18Z)
• Advanced atom-level representations for protein flexibility prediction utilizing graph neural networks [0.0]
  我々は,タンパク質の原子レベルでの表現を学習し,タンパク質3D構造からB因子を予測するグラフニューラルネットワーク(GNN)を提案する。 Meta-GNNモデルは、4k以上のタンパク質の大規模かつ多様なテストセット上での相関係数0.71を達成する。
  論文  参考訳（メタデータ） (2024-08-22T16:15:13Z)
• GOProteinGNN: Leveraging Protein Knowledge Graphs for Protein Representation Learning [27.192150057715835]
  GOProteinGNNは、タンパク質知識グラフ情報を統合することにより、タンパク質言語モデルを強化する新しいアーキテクチャである。 我々のアプローチは、個々のアミノ酸レベルとタンパク質レベルの両方で情報の統合を可能にし、包括的で効果的な学習プロセスを可能にします。
  論文  参考訳（メタデータ） (2024-07-31T17:54:22Z)
• Boosting Protein Language Models with Negative Sample Mining [20.721167029530168]
  本稿では,タンパク質表現学習分野における大規模言語モデル向上のための先駆的手法を提案する。 私たちの主な貢献は、共進化の知識への過度な信頼を関連付けるための洗練プロセスにあります。 本手法は,この新たなアプローチを活かして,注目スコア空間内でのトランスフォーマーベースモデルのトレーニングを支援する。
  論文  参考訳（メタデータ） (2024-05-28T07:24:20Z)
• Enhancing Protein Predictive Models via Proteins Data Augmentation: A Benchmark and New Directions [58.819567030843025]
  本稿では,これまで画像やテキストに用いたデータ拡張手法をタンパク質に拡張し,タンパク質関連タスクでこれらの手法をベンチマークする。 本稿では,2つの新規な意味レベルタンパク質増強法,すなわち,統合的グラディエント置換法とバック翻訳置換法を提案する。 最後に、拡張および提案された拡張を拡張プールに統合し、シンプルで効果的なフレームワークであるAutomated Protein Augmentation (APA)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T07:58:29Z)
• Efficiently Predicting Protein Stability Changes Upon Single-point Mutation with Large Language Models [51.57843608615827]
  タンパク質の熱安定性を正確に予測する能力は、様々なサブフィールドや生化学への応用において重要である。 タンパク質配列と構造的特徴を統合したESMによる効率的なアプローチを導入し, 単一点突然変異によるタンパク質の熱安定性変化を予測する。
  論文  参考訳（メタデータ） (2023-12-07T03:25:49Z)
• Integration of Pre-trained Protein Language Models into Geometric Deep Learning Networks [68.90692290665648]
  我々は、タンパク質言語モデルから学んだ知識を、いくつかの最先端の幾何学的ネットワークに統合する。 以上の結果から,ベースラインを20%上回る総合的な改善が見られた。 強い証拠は、タンパク質言語モデルの知識を取り入れることで、幾何学的ネットワークの能力が著しく向上することを示している。
  論文  参考訳（メタデータ） (2022-12-07T04:04:04Z)
• Learning Geometrically Disentangled Representations of Protein Folding Simulations [72.03095377508856]
  この研究は、薬物標的タンパク質の構造的アンサンブルに基づいて生成ニューラルネットワークを学習することに焦点を当てている。 モデル課題は、様々な薬物分子に結合したタンパク質の構造的変動を特徴付けることである。 その結果,我々の幾何学的学習に基づく手法は,複雑な構造変化を生成するための精度と効率の両方を享受できることがわかった。
  論文  参考訳（メタデータ） (2022-05-20T19:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。