論文の概要: Protein language models trained on multiple sequence alignments learn phylogenetic relationships

• arxiv url: http://arxiv.org/abs/2203.15465v1
• Date: Tue, 29 Mar 2022 12:07:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 23:16:06.699985
• Title: Protein language models trained on multiple sequence alignments learn phylogenetic relationships
• Title（参考訳）: 複数配列アライメントを訓練したタンパク質言語モデルは系統関係を学習する
• Authors: Umberto Lupo, Damiano Sgarbossa, Anne-Florence Bitbol
• Abstract要約: MSAトランスフォーマーの行アテンションの単純な組み合わせは、最先端の非教師なし構造接触予測に繋がった。 同様に単純で普遍的なMSAトランスフォーマーのカラムアテンションの組み合わせは、MSAのシーケンス間のハミング距離と強く相関していることを示す。
• 参考スコア（独自算出の注目度）: 0.5639904484784126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised neural language models with attention have recently been applied to biological sequence data, advancing structure, function and mutational effect prediction. Some protein language models, including MSA Transformer and AlphaFold's EvoFormer, take multiple sequence alignments (MSAs) of evolutionarily related proteins as inputs. Simple combinations of MSA Transformer's row attentions have led to state-of-the-art unsupervised structural contact prediction. We demonstrate that similarly simple, and universal, combinations of MSA Transformer's column attentions strongly correlate with Hamming distances between sequences in MSAs. Therefore, MSA-based language models encode detailed phylogenetic relationships. This could aid them to separate coevolutionary signals encoding functional and structural constraints from phylogenetic correlations arising from historical contingency. To test this hypothesis, we generate synthetic MSAs, either without or with phylogeny, from Potts models trained on natural MSAs. We demonstrate that unsupervised contact prediction is indeed substantially more resilient to phylogenetic noise when using MSA Transformer versus inferred Potts models.
• Abstract（参考訳）: 近年,注目される自己教師付きニューラルネットワークモデルが,生物配列データ,構造,機能,突然変異効果予測に応用されている。 msaトランスフォーマーやalphafold's evoformerを含むいくつかのタンパク質言語モデルは、進化的に関連するタンパク質の多重配列アライメント(msas)を入力とする。 MSAトランスフォーマーの行アテンションの単純な組み合わせは、最先端の非教師なし構造接触予測に繋がった。 同様に単純で普遍的なMSAトランスフォーマーのカラムアテンションの組み合わせは、MSAのシーケンス間のハミング距離と強く相関していることを示す。 したがって、MSAに基づく言語モデルは、詳細な系統関係を符号化する。 これにより、機能的および構造的制約をコードする共進化的シグナルと、歴史的な偶然から生じる系統学的相関を分離することができる。 この仮説をテストするために、自然のMSAで訓練されたPottsモデルから、植物学の有無にかかわらず、合成MSAを生成する。 我々は,MSA変換器と推定ポッツモデルを用いた場合,教師なし接触予測は系統的ノイズに対して極めて耐性が高いことを示した。

関連論文リスト

• Life-Code: Central Dogma Modeling with Multi-Omics Sequence Unification [53.488387420073536]
  Life-Codeは、様々な生物学的機能にまたがる包括的なフレームワークである。 Life-Codeは3つのオミクスにまたがる様々なタスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-02-11T06:53:59Z)
• GENERator: A Long-Context Generative Genomic Foundation Model [66.46537421135996]
  本研究では,98k塩基対 (bp) と1.2Bパラメータからなるゲノム基盤モデルを提案する。 このモデルは分子生物学の中心的なドグマに固執し、タンパク質のコード配列を正確に生成する。 また、特にプロモーター配列の即応的な生成を通じて、シーケンス最適化において大きな可能性を示している。
  論文  参考訳（メタデータ） (2025-02-11T05:39:49Z)
• Semantically Rich Local Dataset Generation for Explainable AI in Genomics [0.716879432974126]
  ゲノム配列に基づいて訓練されたブラックボックス深層学習モデルは、異なる遺伝子制御機構の結果を予測するのに優れている。 本稿では、遺伝的プログラミングを用いて、その意味的多様性に寄与する配列の摂動を進化させることによりデータセットを生成することを提案する。
  論文  参考訳（メタデータ） (2024-07-03T10:31:30Z)
• MSAGPT: Neural Prompting Protein Structure Prediction via MSA Generative Pre-Training [48.398329286769304]
  マルチシークエンスアライメント(MSA)は、タンパク質ファミリーの進化的軌道を明らかにする上で重要な役割を担っている。 MSAGPTは、低MSA状態下でのMSA生成前訓練を通じてタンパク質構造予測を促進する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-06-08T04:23:57Z)
• Learning to Predict Mutation Effects of Protein-Protein Interactions by Microenvironment-aware Hierarchical Prompt Learning [78.38442423223832]
  我々は、新しいコードブック事前学習タスク、すなわちマスク付きマイクロ環境モデリングを開発する。 突然変異効果予測において、最先端の事前学習法よりも優れた性能と訓練効率を示す。
  論文  参考訳（メタデータ） (2024-05-16T03:53:21Z)
• Protein binding affinity prediction under multiple substitutions applying eGNNs on Residue and Atomic graphs combined with Language model information: eGRAL [1.840390797252648]
  ディープラーニングは、シリコン内予測と生体内観測のギャップを埋めることのできる強力なツールとして、ますます認識されている。 タンパク質複合体中のアミノ酸置換物からの結合親和性変化を予測するための新しいグラフニューラルネットワークアーキテクチャであるeGRALを提案する。 eGralは、タンパク質の大規模言語モデルから抽出された特徴のおかげで、残基、原子スケール、進化スケールを利用する。
  論文  参考訳（メタデータ） (2024-05-03T10:33:19Z)
• Pairing interacting protein sequences using masked language modeling [0.3222802562733787]
  配列アライメントに基づいて訓練されたタンパク質言語モデルを用いて相互作用するタンパク質配列をペア化する手法を開発した。 我々は、MSAトランスフォーマーが、周囲のコンテキストを用いて複数の配列アライメントでマスクされたアミノ酸を埋める能力を利用する。 単一チェーンデータでトレーニングされている間に、チェーン間の共進化をキャプチャできることが示されています。
  論文  参考訳（メタデータ） (2023-08-14T13:42:09Z)
• Unsupervised language models for disease variant prediction [3.6942566104432886]
  広い配列のデータセットで訓練された1つのタンパク質LMは、あらゆる遺伝子変異ゼロショットに対して病原性を評価することができる。 臨床的にラベル付けされた疾患関連遺伝子の変異について評価すると,その評価性能は最先端技術に匹敵することがわかった。
  論文  参考訳（メタデータ） (2022-12-07T22:28:13Z)
• Reprogramming Pretrained Language Models for Antibody Sequence Infilling [72.13295049594585]
  抗体の計算設計には、構造的一貫性を維持しながら、新規で多様な配列を生成することが含まれる。 近年のディープラーニングモデルでは優れた結果が得られたが、既知の抗体配列/構造対の数が限られているため、性能が劣化することが多い。 これは、ソース言語でトレーニング済みのモデルを再利用して、異なる言語で、データが少ないタスクに適応するものです。
  論文  参考訳（メタデータ） (2022-10-05T20:44:55Z)
• Generative power of a protein language model trained on multiple sequence alignments [0.5639904484784126]
  進化に関連したタンパク質配列の大規模なアンサンブルから始まる計算モデルは、タンパク質ファミリーの表現を捉えている。 MSA Transformerのような複数の配列アライメントに基づいて訓練されたタンパク質言語モデルは、この目的に対して非常に魅力的な候補である。 マスク付き言語モデリングの目的を直接利用して,MSA変換器を用いてシーケンスを生成する反復手法を提案し,検証する。
  論文  参考訳（メタデータ） (2022-04-14T16:59:05Z)
• Pre-training Co-evolutionary Protein Representation via A Pairwise Masked Language Model [93.9943278892735]
  タンパク質配列表現学習の鍵となる問題は、配列中の残基間の共変量によって反映される共進化情報をキャプチャすることである。 Pairwise Masked Language Model (PMLM) と呼ばれる専用言語モデルによる事前学習により,この情報を直接キャプチャする新しい手法を提案する。 提案手法は, 相互関係を効果的に把握し, ベースラインと比較して, 接触予測性能を最大9%向上できることを示す。
  論文  参考訳（メタデータ） (2021-10-29T04:01:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。