論文の概要: Insights Into the Inner Workings of Transformer Models for Protein Function Prediction

• arxiv url: http://arxiv.org/abs/2309.03631v2
• Date: Fri, 9 Feb 2024 09:57:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 20:31:20.602627
• Title: Insights Into the Inner Workings of Transformer Models for Protein Function Prediction
• Title（参考訳）: タンパク質機能予測のためのトランスフォーマーモデルの内部動作への洞察
• Authors: Markus Wenzel, Erik Gr\"uner, Nils Strodthoff
• Abstract要約: 我々は、タンパク質機能予測のためのニューラルネットワークの内部動作に光を当てるのに、説明可能な人工知能(XAI)がいかに役立つかを探求した。 このアプローチにより、トランスフォーマーが特に注意を払う配列中のアミノ酸を同定し、これらの関連配列が生物学や化学からの期待を反映していることを示すことができた。
• 参考スコア（独自算出の注目度）: 1.1183543438473609
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Motivation: We explored how explainable artificial intelligence (XAI) can help to shed light into the inner workings of neural networks for protein function prediction, by extending the widely used XAI method of integrated gradients such that latent representations inside of transformer models, which were finetuned to Gene Ontology term and Enzyme Commission number prediction, can be inspected too. Results: The approach enabled us to identify amino acids in the sequences that the transformers pay particular attention to, and to show that these relevant sequence parts reflect expectations from biology and chemistry, both in the embedding layer and inside of the model, where we identified transformer heads with a statistically significant correspondence of attribution maps with ground truth sequence annotations (e.g. transmembrane regions, active sites) across many proteins. Availability and Implementation: Source code can be accessed at https://github.com/markuswenzel/xai-proteins .
• Abstract（参考訳）: モチベーション: 説明可能な人工知能(xai)が、タンパク質機能予測のためにニューラルネットワークの内部動作に光を当てる上で、遺伝子オントロジー用語や酵素委員会番号予測に微調整されたトランスフォーマーモデル内の潜在表現を検査できるような統合勾配のxai法を広く拡張することにより、どのように役立つかを検討した。 結果: トランスフォーマーが特に注意を払っている配列のアミノ酸を同定し, その関連配列は, 組込み層とモデル内部の両方において, 生物学および化学からの期待を反映していることを示し, トランスフォーマーヘッドを, 統計的に有意なアトリビューションマップと基底真理配列アノテーション(膜貫通領域, 活性部位など)との対応で同定した。 可用性と実装: ソースコードはhttps://github.com/markuswenzel/xai-proteinsでアクセスできる。

関連論文リスト

• OneProt: Towards Multi-Modal Protein Foundation Models [5.440531199006399]
  我々は、構造、配列、アライメント、結合サイトデータを統合する、タンパク質のためのマルチモーダルAIであるOneProtを紹介する。 金属イオン結合分類、遺伝子オントロジーアノテーション、酵素機能予測など、様々な下流タスクにおける最先端の手法を超越している。 この研究は、タンパク質モデルにおけるマルチモーダル能力を拡大し、薬物発見、生物触媒反応計画、タンパク質工学の応用への道を開く。
  論文  参考訳（メタデータ） (2024-11-07T16:54:54Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• Semantically Rich Local Dataset Generation for Explainable AI in Genomics [0.716879432974126]
  ゲノム配列に基づいて訓練されたブラックボックス深層学習モデルは、異なる遺伝子制御機構の結果を予測するのに優れている。 本稿では、遺伝的プログラミングを用いて、その意味的多様性に寄与する配列の摂動を進化させることによりデータセットを生成することを提案する。
  論文  参考訳（メタデータ） (2024-07-03T10:31:30Z)
• ETDock: A Novel Equivariant Transformer for Protein-Ligand Docking [36.14826783009814]
  従来のドッキング法は、タンパク質と薬物のドッキングを予測するために、スコアリング機能とディープラーニングに依存している。 本稿では,タンパク質リガンドドッキングポーズ予測のためのトランスフォーマーニューラルネットワークを提案する。 実データを用いた実験結果から,本モデルが最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-12T06:23:12Z)
• Transformer Neural Networks Attending to Both Sequence and Structure for Protein Prediction Tasks [3.2235261057020606]
  近年の研究では、既知のタンパク質配列の数が、トランスフォーマーによる学習に役立つタスク非依存的な配列表現を支援することが示されている。 本稿では,第3次構造と第3次構造の両方に対応するトランスフォーマーニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-06-17T18:40:19Z)
• Learning Geometrically Disentangled Representations of Protein Folding Simulations [72.03095377508856]
  この研究は、薬物標的タンパク質の構造的アンサンブルに基づいて生成ニューラルネットワークを学習することに焦点を当てている。 モデル課題は、様々な薬物分子に結合したタンパク質の構造的変動を特徴付けることである。 その結果,我々の幾何学的学習に基づく手法は,複雑な構造変化を生成するための精度と効率の両方を享受できることがわかった。
  論文  参考訳（メタデータ） (2022-05-20T19:38:00Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Deep Learning of High-Order Interactions for Protein Interface Prediction [58.164371994210406]
  本稿では,タンパク質界面の予測を2次元密度予測問題として定式化する。 タンパク質をグラフとして表現し、グラフニューラルネットワークを用いてノードの特徴を学習する。 我々は高次対相互作用を組み込んで、異なる対相互作用を含む3次元テンソルを生成する。
  論文  参考訳（メタデータ） (2020-07-18T05:39:35Z)
• BERTology Meets Biology: Interpreting Attention in Protein Language Models [124.8966298974842]
  注目レンズを用いたタンパク質トランスフォーマーモデルの解析方法を示す。 注意はタンパク質の折りたたみ構造を捉え、基礎となる配列では遠く離れているが、三次元構造では空間的に近接しているアミノ酸を接続する。 また、注意とタンパク質構造との相互作用を三次元的に可視化する。
  論文  参考訳（メタデータ） (2020-06-26T21:50:17Z)
• Masked Language Modeling for Proteins via Linearly Scalable Long-Context Transformers [42.93754828584075]
  我々は、高速注意Via Orthogonal Random機能(FAVOR)に基づく新しいトランスフォーマーアーキテクチャPerformerを提案する。 我々の機構は、列内のトークンの数で2次ではなく2次的にスケールし、四次空間の複雑さが特徴であり、スパーシティパターンの先行を含まない。 これは強い理論的保証を与える:注意行列の偏りのない推定と一様収束である。
  論文  参考訳（メタデータ） (2020-06-05T17:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。