論文の概要: {\lambda}-Scaled-Attention: A Novel Fast Attention Mechanism for
Efficient Modeling of Protein Sequences
- arxiv url: http://arxiv.org/abs/2201.02912v1
- Date: Sun, 9 Jan 2022 03:04:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-12 04:07:19.792458
- Title: {\lambda}-Scaled-Attention: A Novel Fast Attention Mechanism for
Efficient Modeling of Protein Sequences
- Title(参考訳): {\lambda}-scaled-attention:タンパク質配列の効率的なモデリングのための新しい高速注意機構
- Authors: Ashish Ranjan, Md Shah Fahad, Akshay Deepak
- Abstract要約: 注意に基づくディープネットワークは、NLPの分野におけるテキストデータにうまく適用されている。
タンパク質配列へのそれらの応用は、プレーンテキストの単語とは異なり、タンパク質の単語の弱い意味論のために、さらなる課題をもたらす。
本稿では,タンパク質配列の高速かつ効率的なモデリングのための新しいラムダスケールアテンション手法を提案する。
- 参考スコア(独自算出の注目度): 1.9744199942774268
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Attention-based deep networks have been successfully applied on textual data
in the field of NLP. However, their application on protein sequences poses
additional challenges due to the weak semantics of the protein words, unlike
the plain text words. These unexplored challenges faced by the standard
attention technique include (i) vanishing attention score problem and (ii) high
variations in the attention distribution. In this regard, we introduce a novel
{\lambda}-scaled attention technique for fast and efficient modeling of the
protein sequences that addresses both the above problems. This is used to
develop the {\lambda}-scaled attention network and is evaluated for the task of
protein function prediction implemented at the protein sub-sequence level.
Experiments on the datasets for biological process (BP) and molecular function
(MF) showed significant improvements in the F1 score values for the proposed
{\lambda}-scaled attention technique over its counterpart approach based on the
standard attention technique (+2.01% for BP and +4.67% for MF) and
state-of-the-art ProtVecGen-Plus approach (+2.61% for BP and +4.20% for MF).
Further, fast convergence (converging in half the number of epochs) and
efficient learning (in terms of very low difference between the training and
validation losses) were also observed during the training process.
- Abstract(参考訳): 注意に基づくディープネットワークはNLPの分野におけるテキストデータに適用されている。
しかし、それらのタンパク質配列への応用は、平易なテキスト語とは異なり、タンパク質語の弱い意味論のため、さらなる課題をもたらす。
標準的な注意技術が直面する 未解決の課題には
(i)注意力低下問題、及び
(ii)注目分布の変動が大きい。
そこで本研究では,これらの問題に対処するタンパク質配列の高速かつ効率的なモデリングのために,新しい<lambda>スケールド・アテンション手法を提案する。
これは {\lambda}-scaled attention networkの開発に使われ、タンパク質サブシーケンスレベルで実装されたタンパク質機能予測のタスクとして評価される。
生物プロセス(BP)と分子機能(MF)のデータセットに関する実験では、標準の注目技術(BPは+2.01%、MFは+4.67%)と最先端のProtVecGen-Plusアプローチ(BPは+2.61%、MFは+4.20%)に基づいて、提案された「ラムダ」スケールの注意技術に対するF1スコアの値が大幅に改善された。
さらに,学習過程では,高速な収束(エポック数の半分に収束)と効率的な学習(トレーニングと検証損失の差が非常に低い)も観察された。
関連論文リスト
- PSC-CPI: Multi-Scale Protein Sequence-Structure Contrasting for
Efficient and Generalizable Compound-Protein Interaction Prediction [63.50967073653953]
化合物-タンパク質相互作用予測は、合理的な薬物発見のための化合物-タンパク質相互作用のパターンと強度を予測することを目的としている。
既存のディープラーニングベースの手法では、タンパク質配列や構造が単一のモダリティしか利用していない。
CPI予測のためのマルチスケールタンパク質配列構造コントラストフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-13T03:51:10Z) - ContraNovo: A Contrastive Learning Approach to Enhance De Novo Peptide
Sequencing [70.12220342151113]
ContraNovoは、コントラスト学習を利用してスペクトルとペプチドの関係を抽出する先駆的アルゴリズムである。
ContraNovoは、現代最先端のソリューションを一貫して誇張している。
論文 参考訳(メタデータ) (2023-12-18T12:49:46Z) - Efficiently Predicting Protein Stability Changes Upon Single-point
Mutation with Large Language Models [51.57843608615827]
タンパク質の熱安定性を正確に予測する能力は、様々なサブフィールドや生化学への応用において重要である。
タンパク質配列と構造的特徴を統合したESMによる効率的なアプローチを導入し, 単一点突然変異によるタンパク質の熱安定性変化を予測する。
論文 参考訳(メタデータ) (2023-12-07T03:25:49Z) - Exploring Post-Training Quantization of Protein Language Models [9.562786130999188]
タンパク質言語モデルのための後学習量子化(PTQ)に関する研究(ProteinLMs)
我々の研究は、タンパク質膜の全重量と活性化を定量化する最初の試みである。
非対称なアクティベーション値に対して一方向線形量子化を利用する新しいPTQ法を提案する。
論文 参考訳(メタデータ) (2023-10-30T15:18:06Z) - DeepGATGO: A Hierarchical Pretraining-Based Graph-Attention Model for
Automatic Protein Function Prediction [4.608328575930055]
自動タンパク質機能予測(AFP)は大規模多ラベル分類問題に分類される。
現在、一般的な手法は主にタンパク質関連情報と遺伝子オントロジー(GO)の用語を組み合わせて、最終的な機能予測を生成する。
本稿では,タンパク質配列とGO項ラベルを階層的に処理するシークエンスベースの階層予測手法であるDeepGATGOを提案する。
論文 参考訳(メタデータ) (2023-07-24T07:01:32Z) - Enhancing the Protein Tertiary Structure Prediction by Multiple Sequence
Alignment Generation [30.2874172276931]
我々はMSA-Augmenterを導入し、データベースに存在しない新規なタンパク質配列を生成する。
CASP14で行った実験では、MSA-Augmenterは、下層のMSAから共進化情報を保持できるde novo配列を生成できることが示されている。
論文 参考訳(メタデータ) (2023-06-02T14:13:50Z) - Structure-aware Protein Self-supervised Learning [50.04673179816619]
本稿では,タンパク質の構造情報を取得するための構造認識型タンパク質自己教師学習法を提案する。
特に、タンパク質構造情報を保存するために、よく設計されたグラフニューラルネットワーク(GNN)モデルを事前訓練する。
タンパク質言語モデルにおける逐次情報と特別に設計されたGNNモデルにおける構造情報との関係を,新しい擬似二段階最適化手法を用いて同定する。
論文 参考訳(メタデータ) (2022-04-06T02:18:41Z) - Leveraging Sequence Embedding and Convolutional Neural Network for
Protein Function Prediction [27.212743275697825]
タンパク質機能予測の主な課題は、大きなラベル空間とラベル付きトレーニングデータの欠如である。
これらの課題を克服するために、教師なしシーケンス埋め込みと深部畳み込みニューラルネットワークの成功を活用する。
論文 参考訳(メタデータ) (2021-12-01T08:31:01Z) - Pre-training Co-evolutionary Protein Representation via A Pairwise
Masked Language Model [93.9943278892735]
タンパク質配列表現学習の鍵となる問題は、配列中の残基間の共変量によって反映される共進化情報をキャプチャすることである。
Pairwise Masked Language Model (PMLM) と呼ばれる専用言語モデルによる事前学習により,この情報を直接キャプチャする新しい手法を提案する。
提案手法は, 相互関係を効果的に把握し, ベースラインと比較して, 接触予測性能を最大9%向上できることを示す。
論文 参考訳(メタデータ) (2021-10-29T04:01:32Z) - EBM-Fold: Fully-Differentiable Protein Folding Powered by Energy-based
Models [53.17320541056843]
本研究では,データ駆動型生成ネットワークを用いたタンパク質構造最適化手法を提案する。
EBM-Foldアプローチは,従来のロゼッタ構造最適化ルーチンと比較して,高品質なデコイを効率よく生成できる。
論文 参考訳(メタデータ) (2021-05-11T03:40:29Z) - Bayesian neural network with pretrained protein embedding enhances
prediction accuracy of drug-protein interaction [3.499870393443268]
ディープラーニングのアプローチは、人間による試行錯誤なしに薬物とタンパク質の相互作用を予測できる。
本稿では,小さなラベル付きデータセットで優れた性能を示すディープラーニングフレームワークを構築するための2つの手法を提案する。
論文 参考訳(メタデータ) (2020-12-15T10:24:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。