論文の概要: FoldToken: Learning Protein Language via Vector Quantization and Beyond

• arxiv url: http://arxiv.org/abs/2403.09673v2
• Date: Tue, 19 Mar 2024 05:29:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 20:39:33.683010
• Title: FoldToken: Learning Protein Language via Vector Quantization and Beyond
• Title（参考訳）: FoldToken: ベクトル量子化とそれを超えるタンパク質言語を学ぶ
• Authors: Zhangyang Gao, Cheng Tan, Jue Wang, Yufei Huang, Lirong Wu, Stan Z. Li,
• Abstract要約: タンパク質配列構造を離散シンボルとして表現するために textbfFoldTokenizer を導入する。 学習したシンボルを textbfFoldToken と呼び、FoldToken の配列が新しいタンパク質言語として機能する。
• 参考スコア（独自算出の注目度）: 56.19308144551836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Is there a foreign language describing protein sequences and structures simultaneously? Protein structures, represented by continuous 3D points, have long posed a challenge due to the contrasting modeling paradigms of discrete sequences. We introduce \textbf{FoldTokenizer} to represent protein sequence-structure as discrete symbols. This innovative approach involves projecting residue types and structures into a discrete space, guided by a reconstruction loss for information preservation. We refer to the learned discrete symbols as \textbf{FoldToken}, and the sequence of FoldTokens serves as a new protein language, transforming the protein sequence-structure into a unified modality. We apply the created protein language on general backbone inpainting and antibody design tasks, building the first GPT-style model (\textbf{FoldGPT}) for sequence-structure co-generation with promising results. Key to our success is the substantial enhancement of the vector quantization module, Soft Conditional Vector Quantization (\textbf{SoftCVQ}).
• Abstract（参考訳）: タンパク質配列と構造を同時に記述する外国語はあるか? 連続した3Dポイントで表されるタンパク質構造は、離散配列の対照的なモデリングパラダイムのため、長年にわたって課題を提起してきた。 タンパク質配列構造を離散シンボルとして表現するために、textbf{FoldTokenizer}を導入する。 この革新的なアプローチは、情報保存のための再構築損失によって導かれる、残余のタイプと構造を離散空間に投影することである。 学習した離散記号を「textbf{FoldToken}」と呼び、FoldTokensの配列は新しいタンパク質言語として機能し、タンパク質の配列構造を統一されたモダリティに変換する。 生成したタンパク質言語を、一般的なバックボーン塗布および抗体設計タスクに適用し、最初のGPTスタイルモデル(\textbf{FoldGPT})を構築し、将来性のある結果を得る。 我々の成功の鍵は、ベクトル量子化モジュールであるソフト条件ベクトル量子化(\textbf{SoftCVQ})の大幅な拡張である。

関連論文リスト

• FoldToken2: Learning compact, invariant and generative protein structure language [48.1647245005672]
  我々はFoldToken2を提案し、元の構造の復元性を維持しつつ、同変構造を離散トークンに変換する。 タンパク質構造再構築タスクにおいてFoldToken2を評価し,従来のFoldToken1よりもTMScoreで20%,RMSDで81%優れていた。 我々はFoldToken2が、タンパク質構造表現学習、構造アライメント、構造生成タスクのさらなる改善をもたらすと考えている。
  論文  参考訳（メタデータ） (2024-06-11T09:24:51Z)
• Learning the Language of Protein Structure [8.364087723533537]
  本稿では,タンパク質構造を離散表現に効果的にトークン化するベクトル量子化オートエンコーダを用いたアプローチを提案する。 学習した表現の有効性を示すために、コードブック上でトレーニングされた単純なGPTモデルにより、新規で多様性があり、設計可能なタンパク質構造を生成することができることを示す。
  論文  参考訳（メタデータ） (2024-05-24T16:03:47Z)
• Diffusion Language Models Are Versatile Protein Learners [75.98083311705182]
  本稿では,タンパク質配列の強い生成および予測能力を示す多目的なタンパク質言語モデルである拡散タンパク質言語モデル(DPLM)を紹介する。 まず, 自己制御型離散拡散確率フレームワークを用いて, 進化的タンパク質配列からのスケーラブルDPLMの事前学習を行った。 プレトレーニング後、DPLMは非条件生成のための構造的に可塑性で新規で多様なタンパク質配列を生成する能力を示す。
  論文  参考訳（メタデータ） (2024-02-28T18:57:56Z)
• Endowing Protein Language Models with Structural Knowledge [5.587293092389789]
  本稿では,タンパク質構造データを統合することにより,タンパク質言語モデルを強化する新しいフレームワークを提案する。 PST(Protein Structure Transformer)と呼ばれる精製モデルは、小さなタンパク質構造データベース上でさらに事前訓練されている。 PSTは、タンパク質配列の最先端基盤モデルであるESM-2を一貫して上回り、タンパク質機能予測の新しいベンチマークを設定している。
  論文  参考訳（メタデータ） (2024-01-26T12:47:54Z)
• xTrimoPGLM: Unified 100B-Scale Pre-trained Transformer for Deciphering the Language of Protein [76.18058946124111]
  本稿では,タンパク質の理解と生成を同時に行うために,統一されたタンパク質言語モデル xTrimoPGLM を提案する。 xTrimoPGLMは、4つのカテゴリにわたる18のタンパク質理解ベンチマークにおいて、他の高度なベースラインを著しく上回っている。 また、自然の原理に従ってデノボタンパク質配列を生成でき、微調整を監督した後にプログラム可能な生成を行うことができる。
  論文  参考訳（メタデータ） (2024-01-11T15:03:17Z)
• Protein Sequence and Structure Co-Design with Equivariant Translation [19.816174223173494]
  既存のアプローチは自己回帰モデルまたは拡散モデルを用いてタンパク質配列と構造の両方を生成する。 本稿では,タンパク質配列と構造共設計が可能な新しいアプローチを提案する。 我々のモデルは、幾何学的制約と文脈特徴からの相互作用を推論する三角法を意識したエンコーダで構成されている。 全てのタンパク質アミノ酸は翻訳工程で1ショットずつ更新され、推論プロセスが大幅に加速される。
  論文  参考訳（メタデータ） (2022-10-17T06:00:12Z)
• Benchmarking deep generative models for diverse antibody sequence design [18.515971640245997]
  シーケンスのみから、あるいはシーケンスと構造を共同で学習する深層生成モデルは、このタスクにおいて印象的なパフォーマンスを示している。 最近提案されたタンパク質設計のための3つの深い生成フレームワークについて考察する: (AR) 配列ベースの自己回帰生成モデル、(GVP) 正確な構造ベースのグラフニューラルネットワーク、そして3次元折り畳みのファジィでスケールフリーな表現を利用するFold2Seq。 我々は,これらのモデルを,機能的含意に高い多様性を持つ設計配列を必要とする抗体配列の計算設計のタスクに基づいてベンチマークする。
  論文  参考訳（メタデータ） (2021-11-12T16:23:32Z)
• Fold2Seq: A Joint Sequence(1D)-Fold(3D) Embedding-based Generative Model for Protein Design [70.27706384570723]
  Fold2Seqは特定の標的に条件付きタンパク質配列を設計するための新しいフレームワークである。 Fold2Seqの性能は, シーケンス設計の速度, カバレッジ, 信頼性において向上したか, 同等であったかを示す。 フォールドベースのFold2Seqの独特な利点は、構造ベースのディープモデルやRosettaDesignと比較して、3つの現実世界の課題においてより明確になる。
  論文  参考訳（メタデータ） (2021-06-24T14:34:24Z)
• BERTology Meets Biology: Interpreting Attention in Protein Language Models [124.8966298974842]
  注目レンズを用いたタンパク質トランスフォーマーモデルの解析方法を示す。 注意はタンパク質の折りたたみ構造を捉え、基礎となる配列では遠く離れているが、三次元構造では空間的に近接しているアミノ酸を接続する。 また、注意とタンパク質構造との相互作用を三次元的に可視化する。
  論文  参考訳（メタデータ） (2020-06-26T21:50:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。