論文の概要: Modeling Protein Using Large-scale Pretrain Language Model

• arxiv url: http://arxiv.org/abs/2108.07435v1
• Date: Tue, 17 Aug 2021 04:13:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-18 13:24:38.523420
• Title: Modeling Protein Using Large-scale Pretrain Language Model
• Title（参考訳）: 大規模事前学習言語モデルを用いたタンパク質のモデリング
• Authors: Yijia Xiao, Jiezhong Qiu, Ziang Li, Chang-Yu Hsieh, Jie Tang
• Abstract要約: 学際的な研究者は、大規模な生物学的データセットをモデル化するためにディープラーニング手法を活用し始めている。 自然言語とタンパク質配列の類似性から着想を得て,進化的タンパク質配列をモデル化するために大規模言語モデルを用いた。 本モデルでは,進化規模個別配列の事前学習から進化情報を正確に捉えることができる。
• 参考スコア（独自算出の注目度）: 12.568452480689578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Protein is linked to almost every life process. Therefore, analyzing the biological structure and property of protein sequences is critical to the exploration of life, as well as disease detection and drug discovery. Traditional protein analysis methods tend to be labor-intensive and time-consuming. The emergence of deep learning models makes modeling data patterns in large quantities of data possible. Interdisciplinary researchers have begun to leverage deep learning methods to model large biological datasets, e.g. using long short-term memory and convolutional neural network for protein sequence classification. After millions of years of evolution, evolutionary information is encoded in protein sequences. Inspired by the similarity between natural language and protein sequences, we use large-scale language models to model evolutionary-scale protein sequences, encoding protein biology information in representation. Significant improvements are observed in both token-level and sequence-level tasks, demonstrating that our large-scale model can accurately capture evolution information from pretraining on evolutionary-scale individual sequences. Our code and model are available at https://github.com/THUDM/ProteinLM.
• Abstract（参考訳）: タンパク質はほとんどの生命過程に結びついている。 したがって、タンパク質配列の生物学的構造と性質を分析することは、生命の探索、疾患の検出、薬物発見に重要である。 伝統的なタンパク質分析法は、労働集約的かつ時間のかかる傾向がある。 ディープラーニングモデルの出現は、大量のデータにおけるデータパターンのモデリングを可能にする。 学際的な研究者は、例えば大きな生物学的データセットをモデル化するためにディープラーニング手法を活用し始めている。 タンパク質配列の分類に長期記憶と畳み込みニューラルネットワークを使用する。 数百万年の進化の後、進化情報はタンパク質配列にコードされる。 自然言語とタンパク質配列の類似性に着想を得て,進化的タンパク質配列のモデル化に大規模言語モデルを用い,タンパク質生物学情報を表現的にエンコードした。 トークンレベルのタスクとシーケンスレベルのタスクの両方において重要な改善が観察され、我々の大規模モデルが進化の事前学習から進化情報を正確に捉えることができることを示した。 私たちのコードとモデルはhttps://github.com/thudm/proteinlm.comで利用可能です。

関連論文リスト

• SFM-Protein: Integrative Co-evolutionary Pre-training for Advanced Protein Sequence Representation [97.99658944212675]
  タンパク質基盤モデルのための新しい事前学習戦略を導入する。 アミノ酸残基間の相互作用を強調し、短距離および長距離の共進化的特徴の抽出を強化する。 大規模タンパク質配列データセットを用いて学習し,より優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-10-31T15:22:03Z)
• A Latent Diffusion Model for Protein Structure Generation [50.74232632854264]
  本稿では,タンパク質モデリングの複雑さを低減できる潜在拡散モデルを提案する。 提案手法は, 高い設計性と効率性を有する新規なタンパク質のバックボーン構造を効果的に生成できることを示す。
  論文  参考訳（メタデータ） (2023-05-06T19:10:19Z)
• Reprogramming Pretrained Language Models for Protein Sequence Representation Learning [68.75392232599654]
  エンドツーエンドの表現学習フレームワークである辞書学習(R2DL)による表現学習を提案する。 R2DLは、タンパク質配列の埋め込みを学ぶために、事前訓練された英語モデルを再プログラムする。 我々のモデルは,事前訓練および標準教師付き手法によって設定されたベースラインに対して,最大105ドルの精度でデータ効率を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-01-05T15:55:18Z)
• SESNet: sequence-structure feature-integrated deep learning method for data-efficient protein engineering [6.216757583450049]
  タンパク質変異体の適合度を予測するための教師付きディープラーニングモデルであるSESNetを開発した。 SESNetは,シーケンスと関数の関係を予測するための最先端モデルよりも優れていることを示す。 我々のモデルは、タンパク質変異体の適合性の予測において、特に高次変異体に対して驚くほど高い精度を達成することができる。
  論文  参考訳（メタデータ） (2022-12-29T01:49:52Z)
• Integration of Pre-trained Protein Language Models into Geometric Deep Learning Networks [68.90692290665648]
  我々は、タンパク質言語モデルから学んだ知識を、いくつかの最先端の幾何学的ネットワークに統合する。 以上の結果から,ベースラインを20%上回る総合的な改善が見られた。 強い証拠は、タンパク質言語モデルの知識を取り入れることで、幾何学的ネットワークの能力が著しく向上することを示している。
  論文  参考訳（メタデータ） (2022-12-07T04:04:04Z)
• ProGen2: Exploring the Boundaries of Protein Language Models [15.82416400246896]
  タンパク質言語モデルであるProGen2を導入し、最大6.4Bのパラメータに拡張する。 ProGen2モデルは、観察された進化系列の分布を捉える際に、最先端の性能を示す。 モデルのサイズが大きくなり, タンパク質配列の数が多くなりつつあるため, タンパク質配列モデルに提供されるデータ分布に重点を置く必要があることが示唆された。
  論文  参考訳（メタデータ） (2022-06-27T17:55:02Z)
• Protein Structure and Sequence Generation with Equivariant Denoising Diffusion Probabilistic Models [3.5450828190071646]
  バイオエンジニアリングにおける重要な課題は、特定の3D構造と標的機能を可能にする化学的性質を持つタンパク質を設計することである。 タンパク質の構造と配列の両方の生成モデルを導入し、従来の分子生成モデルよりもはるかに大きなスケールで操作できる。
  論文  参考訳（メタデータ） (2022-05-26T16:10:09Z)
• Learning multi-scale functional representations of proteins from single-cell microscopy data [77.34726150561087]
  局所化分類に基づいて訓練された単純な畳み込みネットワークは、多様な機能情報をカプセル化したタンパク質表現を学習できることを示す。 また,生物機能の異なるスケールでタンパク質表現の質を評価するためのロバストな評価戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-24T00:00:07Z)
• Structure-aware Protein Self-supervised Learning [50.04673179816619]
  本稿では,タンパク質の構造情報を取得するための構造認識型タンパク質自己教師学習法を提案する。 特に、タンパク質構造情報を保存するために、よく設計されたグラフニューラルネットワーク(GNN)モデルを事前訓練する。 タンパク質言語モデルにおける逐次情報と特別に設計されたGNNモデルにおける構造情報との関係を,新しい擬似二段階最適化手法を用いて同定する。
  論文  参考訳（メタデータ） (2022-04-06T02:18:41Z)
• Protein Representation Learning by Geometric Structure Pretraining [27.723095456631906]
  既存のアプローチは通常、多くの未ラベルアミノ酸配列で事前訓練されたタンパク質言語モデルである。 まず,タンパク質の幾何学的特徴を学習するための単純かつ効果的なエンコーダを提案する。 関数予測と折り畳み分類の両タスクの実験結果から,提案した事前学習法は,より少ないデータを用いた最先端のシーケンスベース手法と同等あるいは同等であることがわかった。
  論文  参考訳（メタデータ） (2022-03-11T17:52:13Z)
• Align-gram : Rethinking the Skip-gram Model for Protein Sequence Analysis [0.8733639720576208]
  ベクトル空間において類似の$k$-mersを互いに近接してマッピングできる新しい埋め込みスキームAlign-gramを提案する。 DeepGoPlusのシンプルなベースラインLSTMモデルと非常に複雑なCNNモデルを用いた実験は、タンパク質配列解析のための様々なタイプのディープラーニングアプリケーションを実行する上で、Align-gramの可能性を示している。
  論文  参考訳（メタデータ） (2020-12-06T17:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。