論文の概要: Boosting Protein Language Models with Negative Sample Mining

• arxiv url: http://arxiv.org/abs/2405.17902v2
• Date: Sat, 29 Jun 2024 07:07:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 13:50:34.256065
• Title: Boosting Protein Language Models with Negative Sample Mining
• Title（参考訳）: 負のサンプルマイニングによるタンパク質言語モデルの構築
• Authors: Yaoyao Xu, Xinjian Zhao, Xiaozhuang Song, Benyou Wang, Tianshu Yu,
• Abstract要約: 本稿では,タンパク質表現学習分野における大規模言語モデル向上のための先駆的手法を提案する。 私たちの主な貢献は、共進化の知識への過度な信頼を関連付けるための洗練プロセスにあります。 本手法は,この新たなアプローチを活かして,注目スコア空間内でのトランスフォーマーベースモデルのトレーニングを支援する。
• 参考スコア（独自算出の注目度）: 20.721167029530168
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a pioneering methodology for boosting large language models in the domain of protein representation learning. Our primary contribution lies in the refinement process for correlating the over-reliance on co-evolution knowledge, in a way that networks are trained to distill invaluable insights from negative samples, constituted by protein pairs sourced from disparate categories. By capitalizing on this novel approach, our technique steers the training of transformer-based models within the attention score space. This advanced strategy not only amplifies performance but also reflects the nuanced biological behaviors exhibited by proteins, offering aligned evidence with traditional biological mechanisms such as protein-protein interaction. We experimentally observed improved performance on various tasks over datasets, on top of several well-established large protein models. This innovative paradigm opens up promising horizons for further progress in the realms of protein research and computational biology.
• Abstract（参考訳）: 本稿では,タンパク質表現学習分野における大規模言語モデル向上のための先駆的手法を提案する。 我々の主な貢献は、共進化の知識の過度な信頼性を関連付けるための改良プロセスであり、ネットワークは異なるカテゴリから得られるタンパク質対によって構成される負のサンプルから貴重な洞察を抽出するように訓練されている。 本手法は,この新たなアプローチを活かして,注目スコア空間内でのトランスフォーマーベースモデルのトレーニングを支援する。 この先進的な戦略は、性能を増幅するだけでなく、タンパク質によって示されるニュアンスな生物学的挙動を反映し、タンパク質とタンパク質の相互作用のような従来の生物学的メカニズムと整合した証拠を提供する。 確立された大規模タンパク質モデルを用いて,データセット上での各種タスクの性能向上を実験的に観察した。 この革新的なパラダイムは、タンパク質研究と計算生物学の領域でさらなる進歩を期待できる地平を開く。

関連論文リスト

• SFM-Protein: Integrative Co-evolutionary Pre-training for Advanced Protein Sequence Representation [97.99658944212675]
  タンパク質基盤モデルのための新しい事前学習戦略を導入する。 アミノ酸残基間の相互作用を強調し、短距離および長距離の共進化的特徴の抽出を強化する。 大規模タンパク質配列データセットを用いて学習し,より優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-10-31T15:22:03Z)
• Beyond ESM2: Graph-Enhanced Protein Sequence Modeling with Efficient Clustering [24.415612744612773]
  タンパク質は生命の過程に必須であり、進化と多様性を支えている。 シークエンシング技術の進歩により数百万のタンパク質が明らかにされ、生物学的分析とAI開発のための高度な事前学習されたタンパク質モデルの必要性が強調されている。 FacebookのESM2は、これまでで最も先進的なタンパク質言語モデルであり、教師なし学習にマスク付き予測タスクを活用し、顕著な生化学的精度でアミノ酸表現を作成する。 しかし、機能的なタンパク質の洞察の提供に欠けており、表現の質を高める機会を示唆している。 本研究は,タンパク質ファミリー分類をESM2のトレーニングに組み込むことにより,このギャップに対処する。
  論文  参考訳（メタデータ） (2024-04-24T11:09:43Z)
• Protein Conformation Generation via Force-Guided SE(3) Diffusion Models [48.48934625235448]
  新しいタンパク質コンホメーションを生成するために、深層生成モデリング技術が用いられている。 本稿では,タンパク質コンフォメーション生成のための力誘導SE(3)拡散モデルConfDiffを提案する。
  論文  参考訳（メタデータ） (2024-03-21T02:44:08Z)
• Enhancing Protein Predictive Models via Proteins Data Augmentation: A Benchmark and New Directions [58.819567030843025]
  本稿では,これまで画像やテキストに用いたデータ拡張手法をタンパク質に拡張し,タンパク質関連タスクでこれらの手法をベンチマークする。 本稿では,2つの新規な意味レベルタンパク質増強法,すなわち,統合的グラディエント置換法とバック翻訳置換法を提案する。 最後に、拡張および提案された拡張を拡張プールに統合し、シンプルで効果的なフレームワークであるAutomated Protein Augmentation (APA)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T07:58:29Z)
• Efficiently Predicting Mutational Effect on Homologous Proteins by Evolution Encoding [7.067145619709089]
  EvolMPNNは進化を意識したタンパク質の埋め込みを学習するための効率的なモデルである。 我々のモデルは最先端の手法よりも最大6.4%向上し,36倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-02-20T23:06:21Z)
• Predicting mutational effects on protein-protein binding via a side-chain diffusion probabilistic model [14.949807579474781]
  SidechainDiffは、未ラベルな実験タンパク質構造を利用する表現学習に基づくアプローチである。 SidechainDiffは、側鎖の拡散に基づく最初の生成モデルであり、タンパク質のバックボーン構造の生成に主に焦点をあてた以前の試みと区別している。
  論文  参考訳（メタデータ） (2023-10-30T15:23:42Z)
• Plug & Play Directed Evolution of Proteins with Gradient-based Discrete MCMC [1.0499611180329804]
  機械学習ベースのタンパク質工学の長年の目標は、新しい突然変異の発見を加速することである。 本稿では,シリコにおけるタンパク質の進化のためのサンプリングフレームワークについて紹介する。 これらのモデルを構成することで、未知の突然変異を評価し、機能的タンパク質を含む可能性のある配列空間の領域を探索する能力を向上させることを目指している。
  論文  参考訳（メタデータ） (2022-12-20T00:26:23Z)
• Integration of Pre-trained Protein Language Models into Geometric Deep Learning Networks [68.90692290665648]
  我々は、タンパク質言語モデルから学んだ知識を、いくつかの最先端の幾何学的ネットワークに統合する。 以上の結果から,ベースラインを20%上回る総合的な改善が見られた。 強い証拠は、タンパク質言語モデルの知識を取り入れることで、幾何学的ネットワークの能力が著しく向上することを示している。
  論文  参考訳（メタデータ） (2022-12-07T04:04:04Z)
• Learning Geometrically Disentangled Representations of Protein Folding Simulations [72.03095377508856]
  この研究は、薬物標的タンパク質の構造的アンサンブルに基づいて生成ニューラルネットワークを学習することに焦点を当てている。 モデル課題は、様々な薬物分子に結合したタンパク質の構造的変動を特徴付けることである。 その結果,我々の幾何学的学習に基づく手法は,複雑な構造変化を生成するための精度と効率の両方を享受できることがわかった。
  論文  参考訳（メタデータ） (2022-05-20T19:38:00Z)
• Structure-aware Protein Self-supervised Learning [50.04673179816619]
  本稿では,タンパク質の構造情報を取得するための構造認識型タンパク質自己教師学習法を提案する。 特に、タンパク質構造情報を保存するために、よく設計されたグラフニューラルネットワーク(GNN)モデルを事前訓練する。 タンパク質言語モデルにおける逐次情報と特別に設計されたGNNモデルにおける構造情報との関係を,新しい擬似二段階最適化手法を用いて同定する。
  論文  参考訳（メタデータ） (2022-04-06T02:18:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。