論文の概要: Pre-training Co-evolutionary Protein Representation via A Pairwise Masked Language Model

• arxiv url: http://arxiv.org/abs/2110.15527v1
• Date: Fri, 29 Oct 2021 04:01:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 13:41:40.519266
• Title: Pre-training Co-evolutionary Protein Representation via A Pairwise Masked Language Model
• Title（参考訳）: ペアワイズマスク言語モデルによる共進化タンパク質の事前学習
• Authors: Liang He, Shizhuo Zhang, Lijun Wu, Huanhuan Xia, Fusong Ju, He Zhang, Siyuan Liu, Yingce Xia, Jianwei Zhu, Pan Deng, Bin Shao, Tao Qin, Tie-Yan Liu
• Abstract要約: タンパク質配列表現学習の鍵となる問題は、配列中の残基間の共変量によって反映される共進化情報をキャプチャすることである。 Pairwise Masked Language Model (PMLM) と呼ばれる専用言語モデルによる事前学習により,この情報を直接キャプチャする新しい手法を提案する。 提案手法は, 相互関係を効果的に把握し, ベースラインと比較して, 接触予測性能を最大9%向上できることを示す。
• 参考スコア（独自算出の注目度）: 93.9943278892735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding protein sequences is vital and urgent for biology, healthcare, and medicine. Labeling approaches are expensive yet time-consuming, while the amount of unlabeled data is increasing quite faster than that of the labeled data due to low-cost, high-throughput sequencing methods. In order to extract knowledge from these unlabeled data, representation learning is of significant value for protein-related tasks and has great potential for helping us learn more about protein functions and structures. The key problem in the protein sequence representation learning is to capture the co-evolutionary information reflected by the inter-residue co-variation in the sequences. Instead of leveraging multiple sequence alignment as is usually done, we propose a novel method to capture this information directly by pre-training via a dedicated language model, i.e., Pairwise Masked Language Model (PMLM). In a conventional masked language model, the masked tokens are modeled by conditioning on the unmasked tokens only, but processed independently to each other. However, our proposed PMLM takes the dependency among masked tokens into consideration, i.e., the probability of a token pair is not equal to the product of the probability of the two tokens. By applying this model, the pre-trained encoder is able to generate a better representation for protein sequences. Our result shows that the proposed method can effectively capture the inter-residue correlations and improves the performance of contact prediction by up to 9% compared to the MLM baseline under the same setting. The proposed model also significantly outperforms the MSA baseline by more than 7% on the TAPE contact prediction benchmark when pre-trained on a subset of the sequence database which the MSA is generated from, revealing the potential of the sequence pre-training method to surpass MSA based methods in general.
• Abstract（参考訳）: タンパク質配列を理解することは、生物学、医療、医学にとって不可欠かつ緊急である。 ラベル付きアプローチは高価だが時間がかかり、ラベル付きデータの量は、低コストで高スループットなシークエンシングメソッドによってラベル付きデータよりもかなり速くなっている。 これらのラベルのないデータから知識を抽出するために、表現学習はタンパク質関連タスクにとって重要な価値があり、タンパク質の機能や構造についてより深く学ぶのに役立つ可能性がある。 タンパク質配列表現学習における鍵となる問題は、配列内のresidue co-variationによって反映される共進化情報を捉えることである。 そこで本研究では,複数のシーケンスアライメントを利用する代わりに,専用言語モデル(ペアワイズマスキング言語モデル(pmlm))による事前学習により,その情報を直接取得する新しい手法を提案する。 従来のマスク付き言語モデルでは、マスク付きトークンは、マスクなしトークンのみを条件付けすることでモデル化されるが、互いに独立して処理される。 しかし,提案するpmlmは,マスクされたトークン間の依存性,すなわちトークン対の確率は2つのトークンの確率の積と等しくないことを考慮に入れる。 このモデルを適用することで、プリトレーニングされたエンコーダは、タンパク質配列のより良い表現を生成することができる。 提案手法は, 同一条件下でのMLMベースラインと比較して, 残差相関を効果的に把握し, 接触予測性能を最大9%向上できることを示す。 提案モデルはまた,MSA が生成するシーケンスデータベースのサブセット上で事前学習を行った場合,TAPE 接触予測ベンチマークで MSA ベースラインを7% 以上上回り,MSA ベースメソッドを概ね上回るシーケンス事前学習手法の可能性を明らかにする。

関連論文リスト

• TokenUnify: Scalable Autoregressive Visual Pre-training with Mixture Token Prediction [61.295716741720284]
  TokenUnifyは、ランダムトークン予測、次のトークン予測、次のトークン予測を統合する新しい事前学習手法である。 TokenUnifyと共同で,超高解像度の大規模電子顕微鏡画像データセットを構築した。 このデータセットには1億2000万以上の注釈付きボクセルが含まれており、これまでで最大のニューロンセグメンテーションデータセットとなっている。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• Toward Understanding BERT-Like Pre-Training for DNA Foundation Models [78.48760388079523]
  既存のDNA配列の事前訓練方法は、NLPからのBERT事前訓練の直接的な採用に依存している。 マスク境界を連続的に拡張することにより,BERTライクな事前学習作業の難易度を徐々に向上させるRandomMaskという新しい手法を提案する。 RandomMaskは、マシューのエピジェネティック・マーク・予測の相関係数の68.16%を突破し、ベースラインの19.85%を突破した。
  論文  参考訳（メタデータ） (2023-10-11T16:40:57Z)
• PEvoLM: Protein Sequence Evolutionary Information Language Model [0.0]
  タンパク質配列は、アミノ酸(AA)と呼ばれる連続したトークンまたは文字の集合である 本研究では,タンパク質配列を数値ベクトル表現に変換する埋め込み言語モデル(ELMo)を提案する。 このモデルは、次のAAを予測するだけでなく、類似しているが異なる配列から派生した次のAAの確率分布についても訓練された。
  論文  参考訳（メタデータ） (2023-08-16T06:46:28Z)
• ProtST: Multi-Modality Learning of Protein Sequences and Biomedical Texts [22.870765825298268]
  タンパク質配列を拡大するProtSTデータセットを構築し,その機能や重要な特性をテキストで記述する。 事前学習中に、単調マスク予測、マルチモーダル表現アライメント、マルチモーダルマスク予測という3種類のタスクを設計する。 下流タスクでは、ProtSTは教師付き学習とゼロショット予測の両方を可能にする。
  論文  参考訳（メタデータ） (2023-01-28T00:58:48Z)
• Reprogramming Pretrained Language Models for Protein Sequence Representation Learning [68.75392232599654]
  エンドツーエンドの表現学習フレームワークである辞書学習(R2DL)による表現学習を提案する。 R2DLは、タンパク質配列の埋め込みを学ぶために、事前訓練された英語モデルを再プログラムする。 我々のモデルは,事前訓練および標準教師付き手法によって設定されたベースラインに対して,最大105ドルの精度でデータ効率を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-01-05T15:55:18Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)
• Bi-Granularity Contrastive Learning for Post-Training in Few-Shot Scene [10.822477939237459]
  トークンレベルとシーケンスレベルの両方のコントラスト学習を統合するために,ポストトレーニングのためのコントラストマスク言語モデリング(CMLM)を提案する。 CMLMは、データ拡張を必要とせずに、数ショット設定で、最近のいくつかのポストトレーニングメソッドを超越している。
  論文  参考訳（メタデータ） (2021-06-04T08:17:48Z)
• Pre-training Protein Language Models with Label-Agnostic Binding Pairs Enhances Performance in Downstream Tasks [1.452875650827562]
  タンパク質配列の1%未満は構造的にも機能的にも注釈付けされている。 本稿では,結合タンパク質配列と非結合タンパク質配列を混合したRoBERTaモデルを提案する。 トランスフォーマーの注意機構は,タンパク質結合部位の発見に寄与することが示唆された。
  論文  参考訳（メタデータ） (2020-12-05T17:37:41Z)
• Profile Prediction: An Alignment-Based Pre-Training Task for Protein Sequence Models [11.483725773928382]
  タンパク質予測に対する最近のディープラーニングアプローチは、ラベルなしデータによる事前学習が下流タスクに有用な表現をもたらすことを示している。 我々は、複数の配列アライメントから導かれるタンパク質プロファイルを直接予測する、新しい事前学習タスクを導入する。 以上の結果から, タンパク質配列モデルが生物学的に誘発される誘導バイアスの活用の恩恵を受ける可能性が示唆された。
  論文  参考訳（メタデータ） (2020-12-01T01:01:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。