論文の概要: Transformer Neural Networks Attending to Both Sequence and Structure for Protein Prediction Tasks

• arxiv url: http://arxiv.org/abs/2206.11057v1
• Date: Fri, 17 Jun 2022 18:40:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-26 20:54:37.282566
• Title: Transformer Neural Networks Attending to Both Sequence and Structure for Protein Prediction Tasks
• Title（参考訳）: タンパク質予測課題におけるシーケンスと構造を考慮したトランスフォーマーニューラルネットワーク
• Authors: Anowarul Kabir, Amarda Shehu
• Abstract要約: 近年の研究では、既知のタンパク質配列の数が、トランスフォーマーによる学習に役立つタスク非依存的な配列表現を支援することが示されている。 本稿では,第3次構造と第3次構造の両方に対応するトランスフォーマーニューラルネットワークを提案する。
• 参考スコア（独自算出の注目度）: 3.2235261057020606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing number of protein sequences decoded from genomes is opening up new avenues of research on linking protein sequence to function with transformer neural networks. Recent research has shown that the number of known protein sequences supports learning useful, task-agnostic sequence representations via transformers. In this paper, we posit that learning joint sequence-structure representations yields better representations for function-related prediction tasks. We propose a transformer neural network that attends to both sequence and tertiary structure. We show that such joint representations are more powerful than sequence-based representations only, and they yield better performance on superfamily membership across various metrics.
• Abstract（参考訳）: ゲノムから解読されるタンパク質配列の増加は、タンパク質配列をトランスフォーマーニューラルネットワークと結合させる研究の新たな道を開いた。 近年の研究では、既知のタンパク質配列の数が、トランスフォーマーによる学習に役立つタスク非依存的な配列表現を支援することが示されている。 本稿では,共同シーケンス構造表現の学習が,関数関連予測タスクにより良い表現をもたらすことを示唆する。 本稿では,シーケンス構造と3次構造の両方に対応するトランスニューラルネットワークを提案する。 このような結合表現はシーケンスベース表現よりも強力であり、様々な指標においてスーパーファミリーメンバシップの性能が向上することを示す。

関連論文リスト

• FoldToken: Learning Protein Language via Vector Quantization and Beyond [56.19308144551836]
  タンパク質配列構造を離散シンボルとして表現するために textbfFoldTokenizer を導入する。 学習したシンボルを textbfFoldToken と呼び、FoldToken の配列が新しいタンパク質言語として機能する。
  論文  参考訳（メタデータ） (2024-02-04T12:18:51Z)
• Insights Into the Inner Workings of Transformer Models for Protein Function Prediction [1.1183543438473609]
  我々は、タンパク質機能予測のためのニューラルネットワークの内部動作に光を当てるのに、説明可能な人工知能(XAI)がいかに役立つかを探求した。 このアプローチにより、トランスフォーマーが特に注意を払う配列中のアミノ酸を同定し、これらの関連配列が生物学や化学からの期待を反映していることを示すことができた。
  論文  参考訳（メタデータ） (2023-09-07T10:54:06Z)
• Classification of network topology and dynamics via sequence characterization [0.1611401281366893]
  ネットワークトポロジとエージェントダイナミックス生成シーケンスの両方を復元するために,共起法によるネットワークの再構築が有用かどうかを検討する。 再構成されたネットワークの特性は,シーケンス作成に使用されるプロセスやトポロジに関する貴重な情報を提供することがわかった。
  論文  参考訳（メタデータ） (2022-06-30T11:05:39Z)
• Set Interdependence Transformer: Set-to-Sequence Neural Networks for Permutation Learning and Structure Prediction [6.396288020763144]
  セット・ツー・シーケンス問題は自然言語処理、コンピュータビジョン、構造予測において発生する。 それまでの注意に基づく手法では、n$-次関係を明示的に表すために、セット変換の$n$層を必要とする。 本稿では,集合の置換不変表現を任意の濃度の集合内のその要素に関連付けることのできる,集合間距離変換器と呼ばれる新しいニューラルセット符号化法を提案する。
  論文  参考訳（メタデータ） (2022-06-08T07:46:49Z)
• Generative power of a protein language model trained on multiple sequence alignments [0.5639904484784126]
  進化に関連したタンパク質配列の大規模なアンサンブルから始まる計算モデルは、タンパク質ファミリーの表現を捉えている。 MSA Transformerのような複数の配列アライメントに基づいて訓練されたタンパク質言語モデルは、この目的に対して非常に魅力的な候補である。 マスク付き言語モデリングの目的を直接利用して,MSA変換器を用いてシーケンスを生成する反復手法を提案し,検証する。
  論文  参考訳（メタデータ） (2022-04-14T16:59:05Z)
• Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
  体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。 既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。 本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:41:19Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Tensor Representations for Action Recognition [54.710267354274194]
  シーケンスにおける人間の行動は、空間的特徴とその時間的ダイナミクスの複雑な相互作用によって特徴づけられる。 アクション認識タスクの視覚的特徴間の高次関係を捉えるための新しいテンソル表現を提案する。 我々は,高次テンソルといわゆる固有値パワー正規化(NEP)を用いて,高次事象のスペクトル検出を行う。
  論文  参考訳（メタデータ） (2020-12-28T17:27:18Z)
• Masked Language Modeling for Proteins via Linearly Scalable Long-Context Transformers [42.93754828584075]
  我々は、高速注意Via Orthogonal Random機能(FAVOR)に基づく新しいトランスフォーマーアーキテクチャPerformerを提案する。 我々の機構は、列内のトークンの数で2次ではなく2次的にスケールし、四次空間の複雑さが特徴であり、スパーシティパターンの先行を含まない。 これは強い理論的保証を与える:注意行列の偏りのない推定と一様収束である。
  論文  参考訳（メタデータ） (2020-06-05T17:09:16Z)
• Addressing Some Limitations of Transformers with Feedback Memory [51.94640029417114]
  トランスフォーマーは、フィードフォワードネットワークであるにもかかわらず、シーケンシャルな自動回帰タスクにうまく適用されている。 本稿では、過去のすべての表現を将来のすべての表現に公開する、フィードバックトランスフォーマーアーキテクチャを提案する。 言語モデリング、機械翻訳、強化学習の様々なベンチマークにおいて、表現能力の増大は、同等のトランスフォーマーよりもはるかに強力なパフォーマンスを持つ、小さくて浅いモデルを生成することができることを実証する。
  論文  参考訳（メタデータ） (2020-02-21T16:37:57Z)
• Multi-level Head-wise Match and Aggregation in Transformer for Textual Sequence Matching [87.97265483696613]
  そこで本研究では,複数のレベルにおける頭部のマッチング表現を学習することで,Transformerとのシーケンスペアマッチングを新たに提案する。 実験の結果,提案手法は複数のタスクにおいて新しい最先端性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2020-01-20T20:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。