論文の概要: ProGen2: Exploring the Boundaries of Protein Language Models

• arxiv url: http://arxiv.org/abs/2206.13517v1
• Date: Mon, 27 Jun 2022 17:55:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-02 23:26:52.480246
• Title: ProGen2: Exploring the Boundaries of Protein Language Models
• Title（参考訳）: ProGen2: タンパク質言語モデルの境界を探る
• Authors: Erik Nijkamp, Jeffrey Ruffolo, Eli N. Weinstein, Nikhil Naik, Ali Madani
• Abstract要約: タンパク質言語モデルであるProGen2を導入し、最大6.4Bのパラメータに拡張する。 ProGen2モデルは、観察された進化系列の分布を捉える際に、最先端の性能を示す。 モデルのサイズが大きくなり, タンパク質配列の数が多くなりつつあるため, タンパク質配列モデルに提供されるデータ分布に重点を置く必要があることが示唆された。
• 参考スコア（独自算出の注目度）: 15.82416400246896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention-based models trained on protein sequences have demonstrated incredible success at classification and generation tasks relevant for artificial intelligence-driven protein design. However, we lack a sufficient understanding of how very large-scale models and data play a role in effective protein model development. We introduce a suite of protein language models, named ProGen2, that are scaled up to 6.4B parameters and trained on different sequence datasets drawn from over a billion proteins from genomic, metagenomic, and immune repertoire databases. ProGen2 models show state-of-the-art performance in capturing the distribution of observed evolutionary sequences, generating novel viable sequences, and predicting protein fitness without additional finetuning. As large model sizes and raw numbers of protein sequences continue to become more widely accessible, our results suggest that a growing emphasis needs to be placed on the data distribution provided to a protein sequence model. We release the ProGen2 models and code at https://github.com/salesforce/progen.
• Abstract（参考訳）: タンパク質配列を訓練した注意に基づくモデルは、人工知能によるタンパク質設計に関連する分類と生成のタスクで驚くべき成功を収めている。 しかし、我々は、非常に大規模なモデルとデータが効果的なタンパク質モデル開発にどのように貢献するかを十分に理解していない。 ProGen2と呼ばれる一連のタンパク質言語モデルを導入し、最大6.4Bのパラメータをスケールし、ゲノム、メッサージノミクス、免疫レパートリーデータベースから10億以上のタンパク質から抽出された異なる配列データセットに基づいて訓練する。 progen2モデルは、観察された進化配列の分布を捉え、新しい生存可能な配列を生成し、追加の微調整なしでタンパク質の適合性を予測する。 モデルのサイズが大きくなり, タンパク質配列の数が多くなりつつあるため, タンパク質配列モデルに提供されるデータ分布に重点を置く必要があることが示唆された。 ProGen2モデルとコードはhttps://github.com/salesforce/progen.comでリリースしています。

関連論文リスト

• SFM-Protein: Integrative Co-evolutionary Pre-training for Advanced Protein Sequence Representation [97.99658944212675]
  タンパク質基盤モデルのための新しい事前学習戦略を導入する。 アミノ酸残基間の相互作用を強調し、短距離および長距離の共進化的特徴の抽出を強化する。 大規模タンパク質配列データセットを用いて学習し,より優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-10-31T15:22:03Z)
• Design Proteins Using Large Language Models: Enhancements and Comparative Analyses [12.140433802768733]
  我々は、Mistral-7B1、Llama-2-7B2、Llama-3-8B3、gemma-7B4を含む事前訓練されたLLM群を採用し、有効なタンパク質配列を生成する。 我々はこれらのモデルを再訓練し、タンパク質関連データを処理し、生物学的に実現可能なタンパク質構造の生成を保証する。 実験の結果, 限られたデータであっても, 適応されたモデルは, 確立されたタンパク質中心モデルに匹敵する効率を示すことがわかった。
  論文  参考訳（メタデータ） (2024-08-12T08:17:27Z)
• xTrimoPGLM: Unified 100B-Scale Pre-trained Transformer for Deciphering the Language of Protein [76.18058946124111]
  本稿では,タンパク質の理解と生成を同時に行うために,統一されたタンパク質言語モデル xTrimoPGLM を提案する。 xTrimoPGLMは、4つのカテゴリにわたる18のタンパク質理解ベンチマークにおいて、他の高度なベースラインを著しく上回っている。 また、自然の原理に従ってデノボタンパク質配列を生成でき、微調整を監督した後にプログラム可能な生成を行うことができる。
  論文  参考訳（メタデータ） (2024-01-11T15:03:17Z)
• A Latent Diffusion Model for Protein Structure Generation [50.74232632854264]
  本稿では,タンパク質モデリングの複雑さを低減できる潜在拡散モデルを提案する。 提案手法は, 高い設計性と効率性を有する新規なタンパク質のバックボーン構造を効果的に生成できることを示す。
  論文  参考訳（メタデータ） (2023-05-06T19:10:19Z)
• Structure-informed Language Models Are Protein Designers [69.70134899296912]
  配列ベースタンパク質言語モデル(pLM)の汎用的手法であるLM-Designを提案する。 pLMに軽量な構造アダプターを埋め込んだ構造手術を行い,構造意識を付加した構造手術を行った。 実験の結果,我々の手法は最先端の手法よりも大きなマージンで優れていることがわかった。
  論文  参考訳（メタデータ） (2023-02-03T10:49:52Z)
• Protein Structure and Sequence Generation with Equivariant Denoising Diffusion Probabilistic Models [3.5450828190071646]
  バイオエンジニアリングにおける重要な課題は、特定の3D構造と標的機能を可能にする化学的性質を持つタンパク質を設計することである。 タンパク質の構造と配列の両方の生成モデルを導入し、従来の分子生成モデルよりもはるかに大きなスケールで操作できる。
  論文  参考訳（メタデータ） (2022-05-26T16:10:09Z)
• RITA: a Study on Scaling Up Generative Protein Sequence Models [3.6748639131154315]
  RITAは、最大12億のパラメータを持つタンパク質配列の自己回帰生成モデルのスイートである。 タンパク質ドメインにおける自己回帰変換器のモデルサイズで機能がどのように進化するかについて、最初の系統的研究を行う。
  論文  参考訳（メタデータ） (2022-05-11T22:06:03Z)
• Structure-aware Protein Self-supervised Learning [50.04673179816619]
  本稿では,タンパク質の構造情報を取得するための構造認識型タンパク質自己教師学習法を提案する。 特に、タンパク質構造情報を保存するために、よく設計されたグラフニューラルネットワーク(GNN)モデルを事前訓練する。 タンパク質言語モデルにおける逐次情報と特別に設計されたGNNモデルにおける構造情報との関係を,新しい擬似二段階最適化手法を用いて同定する。
  論文  参考訳（メタデータ） (2022-04-06T02:18:41Z)
• Modeling Protein Using Large-scale Pretrain Language Model [12.568452480689578]
  学際的な研究者は、大規模な生物学的データセットをモデル化するためにディープラーニング手法を活用し始めている。 自然言語とタンパク質配列の類似性から着想を得て,進化的タンパク質配列をモデル化するために大規模言語モデルを用いた。 本モデルでは,進化規模個別配列の事前学習から進化情報を正確に捉えることができる。
  論文  参考訳（メタデータ） (2021-08-17T04:13:11Z)
• ProGen: Language Modeling for Protein Generation [47.32931317203297]
  タンパク質工学のための生成モデリングは、合成生物学、医学、物質科学における根本的な問題を解決する鍵となる。 コストのかかる構造アノテーションが欠如しているタンパク質の指数関数的に増加する集合を活用するために、タンパク質工学を教師なしシーケンス生成問題として採用する。
  論文  参考訳（メタデータ） (2020-03-08T04:27:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。