論文の概要: Protein Representation Learning via Knowledge Enhanced Primary Structure Modeling

• arxiv url: http://arxiv.org/abs/2301.13154v1
• Date: Mon, 30 Jan 2023 18:33:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 13:19:56.764642
• Title: Protein Representation Learning via Knowledge Enhanced Primary Structure Modeling
• Title（参考訳）: 知識強化一次構造モデリングによるタンパク質表現学習
• Authors: Hong-Yu Zhou, Yunxiang Fu, Zhicheng Zhang, Cheng Bian, Yizhou Yu
• Abstract要約: タンパク質表現学習のための知識探索型タンパク質自動エンコーダ(KeAP)を提案する。 KeAPはタンパク質表現学習のためのトークンレベルの知識グラフ探索を行う。 我々は、9つの下流アプリケーションにおいて、KeAPが従来よりも一貫して上回っていることを示す。
• 参考スコア（独自算出の注目度）: 47.719106806436926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Protein representation learning has primarily benefited from the remarkable development of language models (LMs). Accordingly, pre-trained protein models also suffer from a problem in LMs: a lack of factual knowledge. The recent solution models the relationships between protein and associated knowledge terms as the knowledge encoding objective. However, it fails to explore the relationships at a more granular level, i.e., the token level. To mitigate this, we propose Knowledge-exploited Auto-encoder for Protein (KeAP), which performs token-level knowledge graph exploration for protein representation learning. In practice, non-masked amino acids iteratively query the associated knowledge tokens to extract and integrate helpful information for restoring masked amino acids via attention. We show that KeAP can consistently outperform the previous counterpart on 9 representative downstream applications, sometimes surpassing it by large margins. These results suggest that KeAP provides an alternative yet effective way to perform knowledge enhanced protein representation learning.
• Abstract（参考訳）: タンパク質表現学習は主に言語モデル(LM)の顕著な発展の恩恵を受けている。 それゆえ、事前訓練されたタンパク質モデルは、事実の知識の欠如というlsmの問題も抱えている。 最近のソリューションは、タンパク質と関連する知識用語の関係を知識エンコーディングの目的としてモデル化している。 しかし、より細かいレベルでの関係、すなわちトークンレベルでの探索には失敗している。 そこで本研究では,タンパク質表現学習のためのトークンレベルの知識グラフ探索を行うタンパク質自動エンコーダ(keap)を提案する。 実際には、非マスクアミノ酸は関連する知識トークンを反復的にクエリして抽出し、注意を通してマスクされたアミノ酸を復元するための有用な情報を統合する。 我々は,keapが従来の9種類のダウンストリームアプリケーションよりも一貫して優れており,時には大きなマージンでそれを上回ることができることを示した。 これらの結果は、keapが知識強化タンパク質表現学習を行うための代替的かつ効果的な方法を提供することを示唆している。

関連論文リスト

• Long-context Protein Language Model [76.95505296417866]
  言語モデル(LM)の自己教師による訓練は、有意義な表現の学習や創薬設計において、タンパク質配列に大きな成功を収めている。 ほとんどのタンパク質LMは、短い文脈長を持つ個々のタンパク質に基づいて訓練されたトランスフォーマーアーキテクチャに基づいている。 そこで我々は,選択的構造化状態空間モデルから構築した代替のタンパク質LMアーキテクチャであるBiMamba-Sに基づくLC-PLMを提案する。 また、第2段階のトレーニングのために、タンパク質-タンパク質相互作用グラフの文脈化を行うLC-PLM-Gも導入した。
  論文  参考訳（メタデータ） (2024-10-29T16:43:28Z)
• Structure-Enhanced Protein Instruction Tuning: Towards General-Purpose Protein Understanding [43.811432723460534]
  本稿では,このギャップを埋めるために,構造強化タンパク質インストラクションチューニング(SEPIT)フレームワークを紹介する。 提案手法では, 構造的知識を付加するため, 構造的知識を付加し, これらの拡張された pLM を大規模言語モデル (LLM) に接続し, タンパク質の理解を創出する。 我々はこれまでで最大かつ最も包括的なタンパク質命令データセットを構築し、汎用タンパク質理解モデルの訓練と評価を可能にした。
  論文  参考訳（メタデータ） (2024-10-04T16:02:50Z)
• GOProteinGNN: Leveraging Protein Knowledge Graphs for Protein Representation Learning [27.192150057715835]
  GOProteinGNNは、タンパク質知識グラフ情報を統合することにより、タンパク質言語モデルを強化する新しいアーキテクチャである。 我々のアプローチは、個々のアミノ酸レベルとタンパク質レベルの両方で情報の統合を可能にし、包括的で効果的な学習プロセスを可能にします。
  論文  参考訳（メタデータ） (2024-07-31T17:54:22Z)
• ProtT3: Protein-to-Text Generation for Text-based Protein Understanding [88.43323947543996]
  言語モデル(LM)は、タンパク質のテキスト記述を理解するのに優れている。 タンパク質言語モデル(PLM)は、タンパク質データを理解し、高品質な表現に変換するが、テキストを処理するのに苦労する。 ProtT3は、テキストベースのタンパク質理解のための、タンパク質からテキストへの生成のためのフレームワークである。
  論文  参考訳（メタデータ） (2024-05-21T08:06:13Z)
• ProLLM: Protein Chain-of-Thoughts Enhanced LLM for Protein-Protein Interaction Prediction [54.132290875513405]
  タンパク質-タンパク質相互作用(PPI)の予測は、生物学的機能や疾患を理解する上で重要である。 PPI予測に対する従来の機械学習アプローチは、主に直接的な物理的相互作用に焦点を当てていた。 PPIに適したLLMを用いた新しいフレームワークProLLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T05:32:42Z)
• NaNa and MiGu: Semantic Data Augmentation Techniques to Enhance Protein Classification in Graph Neural Networks [60.48306899271866]
  本稿では,背骨化学および側鎖生物物理情報をタンパク質分類タスクに組み込む新しい意味データ拡張手法を提案する。 具体的には, 分子生物学的, 二次構造, 化学結合, およびタンパク質のイオン特性を活用し, 分類作業を容易にする。
  論文  参考訳（メタデータ） (2024-03-21T13:27:57Z)
• Retrieved Sequence Augmentation for Protein Representation Learning [40.13920287967866]
  本稿では,タンパク質表現学習のための検索シーケンス拡張について,アライメントや前処理を伴わずに導入する。 本モデルでは,新しいタンパク質ドメインに移行し,デノボタンパク質の予測においてMSAトランスフォーマーより優れていることを示す。 我々の研究はタンパク質の予測における大きなギャップを埋め、タンパク質配列を理解するのに必要なドメイン知識の解読に一歩近づいた。
  論文  参考訳（メタデータ） (2023-02-24T10:31:45Z)
• Structure-aware Protein Self-supervised Learning [50.04673179816619]
  本稿では,タンパク質の構造情報を取得するための構造認識型タンパク質自己教師学習法を提案する。 特に、タンパク質構造情報を保存するために、よく設計されたグラフニューラルネットワーク(GNN)モデルを事前訓練する。 タンパク質言語モデルにおける逐次情報と特別に設計されたGNNモデルにおける構造情報との関係を,新しい擬似二段階最適化手法を用いて同定する。
  論文  参考訳（メタデータ） (2022-04-06T02:18:41Z)
• OntoProtein: Protein Pretraining With Gene Ontology Embedding [36.92674447484136]
  GO(Gene Ontology)の構造をタンパク質事前学習モデルに活用する最初の汎用フレームワークであるOntoProteinを提案する。 我々はGOとその関連タンパク質からなる新しい大規模知識グラフを構築し、遺伝子アノテーションのテキストやタンパク質配列はグラフ内の全てのノードを記述する。
  論文  参考訳（メタデータ） (2022-01-23T14:49:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。