論文の概要: Prot2Token: A Unified Framework for Protein Modeling via Next-Token Prediction

• arxiv url: http://arxiv.org/abs/2505.20589v1
• Date: Mon, 26 May 2025 23:50:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.323628
• Title: Prot2Token: A Unified Framework for Protein Modeling via Next-Token Prediction
• Title（参考訳）: Prot2Token: 次世代予測によるタンパク質モデリングのための統一フレームワーク
• Authors: Mahdi Pourmirzaei, Farzaneh Esmaili, Salhuldin Alqarghuli, Mohammadreza Pourmirzaei, Ye Han, Kai Chen, Mohsen Rezaei, Duolin Wang, Dong Xu,
• Abstract要約: Prot2Tokenは、タンパク質関連予測の幅広い範囲を変換することで、課題を克服する統合フレームワークである。 Prot2Tokenのコアは自動回帰デコーダで、事前訓練されたタンパク質エンコーダの埋め込みを条件とし、学習可能なタスクトークンでガイドされる。 Prot2Tokensは様々な種類のタンパク質予測タスクにおいて強い予測力を示す。
• 参考スコア（独自算出の注目度）: 19.164841536081568
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The diverse nature of protein prediction tasks has traditionally necessitated specialized models, hindering the development of broadly applicable and computationally efficient Protein Language Models (PLMs). In this work, we introduce Prot2Token, a unified framework that overcomes these challenges by converting a wide spectrum of protein-related predictions, from sequence-level properties and residue-specific attributes to complex inter-protein interactions, into a standardized next-token prediction format. At its core, Prot2Token employs an autoregressive decoder, conditioned on embeddings from pre-trained protein encoders and guided by learnable task tokens, to perform diverse predictions. This architecture uniquely facilitates multi-task learning, enabling a single model to master numerous tasks with improved efficiency. We present extensive experimental validation across a variety of benchmarks, demonstrating Prot2Tokens strong predictive power in different types of protein-prediction tasks. Key results include significant speedups (e.g., near 1000x over AlphaFold2 with MSA) and performance often matching or exceeding specialized approaches. Beyond that, we introduce an auxiliary self-supervised decoder pre-training approach to improve spatially sensitive task performance. Prot2Token thus offers a significant step towards a versatile, high-throughput paradigm for protein modeling, promising to accelerate biological discovery and the development of novel therapeutics. The code is available at https://github.com/mahdip72/prot2token .
• Abstract（参考訳）: タンパク質予測タスクの多様な性質は、伝統的に専門的なモデルを必要としており、広く適用可能で計算効率のよいタンパク質言語モデル(PLM)の開発を妨げる。 本稿では,タンパク質関連予測の幅広いスペクトルを,配列レベルの特性や残基特異的な属性から複雑なタンパク質間相互作用へと変換することで,これらの課題を克服する統一的なフレームワークであるProt2Tokenを紹介する。 コアとなるProt2Tokenは、事前訓練されたタンパク質エンコーダの埋め込みを条件とし、学習可能なタスクトークンでガイドされる自動回帰デコーダを使用して、多様な予測を行う。 このアーキテクチャは、マルチタスク学習を独特に促進し、単一のモデルで多くのタスクを習得し、効率を向上する。 Prot2Tokensは様々な種類のタンパク質予測タスクにおいて強い予測力を示す。 主な結果は、大きなスピードアップ(例えば、AlphaFold2とMSAの1000倍近く)と、しばしば特別なアプローチにマッチまたは超えるパフォーマンスである。 さらに、空間的に敏感なタスク性能を改善するために、補助的な自己教師付きデコーダ事前学習手法を導入する。 Prot2Tokenは、タンパク質モデリングのための多用途で高スループットなパラダイムに向けて重要な一歩を踏み出し、生物の発見と新しい治療法の開発を加速することを約束する。 コードはhttps://github.com/mahdip72/prot2token で公開されている。

関連論文リスト

• OneProt: Towards Multi-Modal Protein Foundation Models [5.440531199006399]
  我々は、構造、シーケンス、テキスト、結合サイトデータを統合したタンパク質のためのマルチモーダルAIであるOneProtを紹介する。 ImageBindフレームワークを使用して、OneProtは軽量な微調整方式でタンパク質モダリティエンコーダの潜在空間を整列する。 この研究はマルチモーダルタンパク質モデルの地平線を広げ、薬物発見、生物触媒反応計画、タンパク質工学における変革的応用の道を開く。
  論文  参考訳（メタデータ） (2024-11-07T16:54:54Z)
• MeToken: Uniform Micro-environment Token Boosts Post-Translational Modification Prediction [65.33218256339151]
  翻訳後修飾(PTM)はプロテオームの複雑さと機能を大幅に拡張する。 既存の計算手法は主に、配列依存的なモチーフの認識によって引き起こされる、PTM部位を予測するタンパク質配列に焦点を当てている。 本稿では,各酸のマイクロ環境をトークン化し,シーケンス情報と構造情報を統一された離散トークンに統合するMeTokenモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-04T07:14:28Z)
• xTrimoPGLM: Unified 100B-Scale Pre-trained Transformer for Deciphering the Language of Protein [74.64101864289572]
  本稿では,タンパク質の理解と生成を同時に行うために,統一されたタンパク質言語モデル xTrimoPGLM を提案する。 xTrimoPGLMは、4つのカテゴリにわたる18のタンパク質理解ベンチマークにおいて、他の高度なベースラインを著しく上回っている。 また、自然の原理に従ってデノボタンパク質配列を生成でき、微調整を監督した後にプログラム可能な生成を行うことができる。
  論文  参考訳（メタデータ） (2024-01-11T15:03:17Z)
• Efficiently Predicting Protein Stability Changes Upon Single-point Mutation with Large Language Models [51.57843608615827]
  タンパク質の熱安定性を正確に予測する能力は、様々なサブフィールドや生化学への応用において重要である。 タンパク質配列と構造的特徴を統合したESMによる効率的なアプローチを導入し, 単一点突然変異によるタンパク質の熱安定性変化を予測する。
  論文  参考訳（メタデータ） (2023-12-07T03:25:49Z)
• Prot2Text: Multimodal Protein's Function Generation with GNNs and Transformers [18.498779242323582]
  本稿では,タンパク質の機能を自由テキスト形式で予測する新しいアプローチであるProt2Textを提案する。 エンコーダ・デコーダフレームワークでグラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を組み合わせることにより,本モデルは多種多様なデータ型を効果的に統合する。
  論文  参考訳（メタデータ） (2023-07-25T09:35:43Z)
• Reprogramming Pretrained Language Models for Protein Sequence Representation Learning [68.75392232599654]
  エンドツーエンドの表現学習フレームワークである辞書学習(R2DL)による表現学習を提案する。 R2DLは、タンパク質配列の埋め込みを学ぶために、事前訓練された英語モデルを再プログラムする。 我々のモデルは,事前訓練および標準教師付き手法によって設定されたベースラインに対して,最大105ドルの精度でデータ効率を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-01-05T15:55:18Z)
• PEER: A Comprehensive and Multi-Task Benchmark for Protein Sequence Understanding [17.770721291090258]
  PEERは、Protein sEquence undERstandingの包括的なマルチタスクベンチマークである。 タンパク質機能予測、タンパク質局在予測、タンパク質構造予測、タンパク質-リガンド相互作用予測を含む、多様なタンパク質理解タスクのセットを提供する。 我々は,従来の特徴工学的手法,異なる配列符号化手法,および大規模事前学習されたタンパク質言語モデルなど,各タスクに対するシーケンスベース手法の評価を行った。
  論文  参考訳（メタデータ） (2022-06-05T05:21:56Z)
• Pre-training Co-evolutionary Protein Representation via A Pairwise Masked Language Model [93.9943278892735]
  タンパク質配列表現学習の鍵となる問題は、配列中の残基間の共変量によって反映される共進化情報をキャプチャすることである。 Pairwise Masked Language Model (PMLM) と呼ばれる専用言語モデルによる事前学習により,この情報を直接キャプチャする新しい手法を提案する。 提案手法は, 相互関係を効果的に把握し, ベースラインと比較して, 接触予測性能を最大9%向上できることを示す。
  論文  参考訳（メタデータ） (2021-10-29T04:01:32Z)
• Combination of digital signal processing and assembled predictive models facilitates the rational design of proteins [0.0]
  タンパク質の突然変異の影響を予測することは、タンパク質工学における最も重要な課題の1つである。 符号化段階での物理化学的特性の組み合わせを選択するために,クラスタリング,埋め込み,次元還元技術を用いている。 次に、各プロパティセットで最高のパフォーマンス予測モデルを選択し、組み立てたモデルを作成します。
  論文  参考訳（メタデータ） (2020-10-07T16:35:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。