論文の概要: CCPL: Cross-modal Contrastive Protein Learning

• arxiv url: http://arxiv.org/abs/2303.11783v2
• Date: Wed, 4 Sep 2024 02:45:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-07 07:10:38.118327
• Title: CCPL: Cross-modal Contrastive Protein Learning
• Title（参考訳）: CCPL:クロスモーダルコントラストタンパク質学習
• Authors: Jiangbin Zheng, Stan Z. Li,
• Abstract要約: 我々は、新しい教師なしタンパク質構造表現事前学習法、クロスモーダルコントラスト型タンパク質学習(CCPL)を導入する。 CCPLは堅牢なタンパク質言語モデルを活用し、教師なしのコントラストアライメントを用いて構造学習を強化する。 さまざまなベンチマークでモデルを評価し,フレームワークの優位性を実証した。
• 参考スコア（独自算出の注目度）: 47.095862120116976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effective protein representation learning is crucial for predicting protein functions. Traditional methods often pretrain protein language models on large, unlabeled amino acid sequences, followed by finetuning on labeled data. While effective, these methods underutilize the potential of protein structures, which are vital for function determination. Common structural representation techniques rely heavily on annotated data, limiting their generalizability. Moreover, structural pretraining methods, similar to natural language pretraining, can distort actual protein structures. In this work, we introduce a novel unsupervised protein structure representation pretraining method, cross-modal contrastive protein learning (CCPL). CCPL leverages a robust protein language model and uses unsupervised contrastive alignment to enhance structure learning, incorporating self-supervised structural constraints to maintain intrinsic structural information. We evaluated our model across various benchmarks, demonstrating the framework's superiority.
• Abstract（参考訳）: 効果的なタンパク質表現学習はタンパク質機能の予測に不可欠である。 伝統的な方法では、大きくラベル付けされていないアミノ酸配列でタンパク質言語モデルを事前訓練し、次いでラベル付きデータで微調整する。 効果はあるものの、これらの方法は機能決定に不可欠なタンパク質構造のポテンシャルを過小評価する。 一般的な構造表現技術は注釈付きデータに大きく依存し、一般化可能性を制限する。 さらに、自然言語の事前学習と同様の構造的事前学習法は、実際のタンパク質構造を歪めることができる。 本研究では,新規な教師なしタンパク質構造表現事前学習法であるクロスモーダルコントラスト型タンパク質学習(CCPL)を紹介する。 CCPLは堅牢なタンパク質言語モデルを活用し、教師なしのコントラストアライメントを使用して構造学習を強化し、固有の構造情報を維持するために自己教師付き構造制約を取り入れている。 さまざまなベンチマークでモデルを評価し,フレームワークの優位性を実証した。

関連論文リスト

• Protein Representation Learning with Sequence Information Embedding: Does it Always Lead to a Better Performance? [4.7077642423577775]
  本稿では,アミノ酸構造表現のみに基づく局所幾何アライメント手法ProtLOCAを提案する。 本手法は,構造的に整合性のあるタンパク質ドメインとより迅速かつ正確にマッチングすることで,既存の配列および構造に基づく表現学習法より優れる。
  論文  参考訳（メタデータ） (2024-06-28T08:54:37Z)
• Endowing Protein Language Models with Structural Knowledge [5.587293092389789]
  本稿では,タンパク質構造データを統合することにより,タンパク質言語モデルを強化する新しいフレームワークを提案する。 PST(Protein Structure Transformer)と呼ばれる精製モデルは、小さなタンパク質構造データベース上でさらに事前訓練されている。 PSTは、タンパク質配列の最先端基盤モデルであるESM-2を一貫して上回り、タンパク質機能予測の新しいベンチマークを設定している。
  論文  参考訳（メタデータ） (2024-01-26T12:47:54Z)
• A Systematic Study of Joint Representation Learning on Protein Sequences and Structures [38.94729758958265]
  効果的なタンパク質表現の学習は、タンパク質機能の予測のような生物学の様々なタスクにおいて重要である。 近年, タンパク質言語モデル(PLM)に基づく配列表現学習法は, 配列ベースタスクでは優れているが, タンパク質構造に関わるタスクへの直接適応は依然として困難である。 本研究は、最先端のPLMと異なる構造エンコーダを統合することで、結合タンパク質表現学習の包括的研究を行う。
  論文  参考訳（メタデータ） (2023-03-11T01:24:10Z)
• Structure-informed Language Models Are Protein Designers [69.70134899296912]
  配列ベースタンパク質言語モデル(pLM)の汎用的手法であるLM-Designを提案する。 pLMに軽量な構造アダプターを埋め込んだ構造手術を行い,構造意識を付加した構造手術を行った。 実験の結果,我々の手法は最先端の手法よりも大きなマージンで優れていることがわかった。
  論文  参考訳（メタデータ） (2023-02-03T10:49:52Z)
• Reprogramming Pretrained Language Models for Protein Sequence Representation Learning [68.75392232599654]
  エンドツーエンドの表現学習フレームワークである辞書学習(R2DL)による表現学習を提案する。 R2DLは、タンパク質配列の埋め込みを学ぶために、事前訓練された英語モデルを再プログラムする。 我々のモデルは,事前訓練および標準教師付き手法によって設定されたベースラインに対して,最大105ドルの精度でデータ効率を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-01-05T15:55:18Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Contrastive Representation Learning for 3D Protein Structures [13.581113136149469]
  本稿では3次元タンパク質構造のための新しい表現学習フレームワークを提案する。 我々のフレームワークは、教師なしのコントラスト学習を用いて、タンパク質構造の意味のある表現を学習する。 これらの表現は、タンパク質機能予測、タンパク質の折りたたみ分類、構造的類似性予測、タンパク質-リガンド結合親和性予測など、様々なタスクを解くためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2022-05-31T10:33:06Z)
• Structure-aware Protein Self-supervised Learning [50.04673179816619]
  本稿では,タンパク質の構造情報を取得するための構造認識型タンパク質自己教師学習法を提案する。 特に、タンパク質構造情報を保存するために、よく設計されたグラフニューラルネットワーク(GNN)モデルを事前訓練する。 タンパク質言語モデルにおける逐次情報と特別に設計されたGNNモデルにおける構造情報との関係を,新しい擬似二段階最適化手法を用いて同定する。
  論文  参考訳（メタデータ） (2022-04-06T02:18:41Z)
• Transfer Learning for Protein Structure Classification at Low Resolution [124.5573289131546]
  タンパク質のクラスとアーキテクチャの正確な(geq$80%)予測を、低い(leq$3A)解像度で決定された構造から行うことができることを示す。 本稿では, 高速で低コストなタンパク質構造を低解像度で分類するための概念実証と, 機能予測への拡張の基礎を提供する。
  論文  参考訳（メタデータ） (2020-08-11T15:01:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。