論文の概要: Higher-Order Modular Attention: Fusing Pairwise and Triadic Interactions for Protein Sequences

• arxiv url: http://arxiv.org/abs/2603.11133v1
• Date: Wed, 11 Mar 2026 16:07:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:25.537601
• Title: Higher-Order Modular Attention: Fusing Pairwise and Triadic Interactions for Protein Sequences
• Title（参考訳）: 高次モジュラーアテンション:タンパク質配列に対するペアワイドおよびトリアディック相互作用
• Authors: Shirin Amiraslani, Xin Gao,
• Abstract要約: 我々は,高次モジュラーアテンション(HOMA)を導入し,一対の注意を明示的な三進的相互作用経路と融合させる統一アテンション演算子について述べる。 長周期で三進的注意を実践するために、HOMAはブロック構造化された窓付き三進的注意を用いる。 以上の結果から、明示的な三進項は、制御可能な計算コストでタンパク質配列予測に相補的な表現能力をもたらすことが示唆された。
• 参考スコア（独自算出の注目度）: 9.211168394942462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer self-attention computes pairwise token interactions, yet protein sequence to phenotype relationships often involve cooperative dependencies among three or more residues that dot product attention does not capture explicitly. We introduce Higher-Order Modular Attention, HOMA, a unified attention operator that fuses pairwise attention with an explicit triadic interaction pathway. To make triadic attention practical on long sequences, HOMA employs block-structured, windowed triadic attention. We evaluate on three TAPE benchmarks for Secondary Structure, Fluorescence, and Stability. Our attention mechanism yields consistent improvements across all tasks compared with standard self-attention and efficient variants including block-wise attention and Linformer. These results suggest that explicit triadic terms provide complementary representational capacity for protein sequence prediction at controllable additional computational cost.
• Abstract（参考訳）: トランスフォーマー・セルフアテンションは、ペアワイズトークンの相互作用を計算するが、タンパク質配列と表現型関係は、製品に注意を向けない3つ以上の残基間の協調的な依存関係をしばしば含んでいる。 我々は,高次モジュラーアテンション(HOMA)を導入し,一対の注意を明示的な三進的相互作用経路と融合させる統一アテンション演算子について述べる。 長周期で三進的注意を実践するために、HOMAはブロック構造化された窓付き三進的注意を用いる。 二次構造, 蛍光, 安定性の3つのTAPEベンチマークについて検討した。 我々のアテンションメカニズムは、ブロックワイドアテンションやLinformerなど、標準的な自己アテンションと効率的な変種と比較して、すべてのタスクに一貫した改善をもたらす。 これらの結果は、明示的な三進項は、制御可能な追加計算コストでのタンパク質配列予測に相補的な表現能力をもたらすことを示唆している。

関連論文リスト

• How Smoothing is N-simplicial Attention? [57.21791642118324]
  N-simplicial attention, go to pairwise token similarity to higher-order interaction, and adapt it for Rotary Position Embeddings (RoPE)。 複雑性の増大を管理するため,計算負荷をタスクに敏感なインタラクションに集中させることができるコスト効率のよい単純な選択法を提案する。
  論文  参考訳（メタデータ） (2025-12-17T17:10:57Z)
• S$^2$Drug: Bridging Protein Sequence and 3D Structure in Contrastive Representation Learning for Virtual Screening [72.89086338778098]
  タンパク質リガンドコントラスト表現学習のための2段階フレームワークを提案する。 最初の段階では、ESM2ベースのバックボーンを用いて、ChemBLでタンパク質配列を事前訓練する。 第2段階では、残基レベルゲーティングモジュールを介して配列と構造情報を融合することでPDBBindを微調整する。 この補助的なタスクは、モデルを誘導し、タンパク質配列内の結合残基を正確に局在させ、それらの3次元空間配列をキャプチャする。
  論文  参考訳（メタデータ） (2025-11-10T11:57:47Z)
• Dynamic Relational Priming Improves Transformer in Multivariate Time Series [0.0]
  動的リレーショナルプライミングによる注意(プライムアテンション)を提案する。 主要な注意力は、ベンチマーク全体で標準の注意力より一貫して優れています。 また、プライマリアテンションは、標準アテンションに比べて最大40%のシーケンス長を用いて、同等または優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-09-15T17:56:15Z)
• LINKER: Learning Interactions Between Functional Groups and Residues With Chemical Knowledge-Enhanced Reasoning and Explainability [6.086602240954416]
  生物学的に定義された相互作用型の観点から残基の相互作用を予測する最初のシーケンスベースモデルであるLINKERを紹介する。 リンカーは3Dタンパク質-リガンド複合体から相互作用ラベルが誘導される構造制御された注意で訓練される。 推論時にのみシーケンスレベルの入力が必要であり、構造データが利用できない設定で大規模アプリケーションを可能にする。
  論文  参考訳（メタデータ） (2025-09-03T15:53:56Z)
• CoPRA: Bridging Cross-domain Pretrained Sequence Models with Complex Structures for Protein-RNA Binding Affinity Prediction [23.1499716310298]
  我々は,タンパク質-RNA結合親和性データセットPRA310を構築し,性能評価を行った。 我々は,(1)タンパク質-RNA結合親和性,(2)変異による結合親和性の変化を正確に予測できること,(3)データのスケーリングとモデルサイズによるメリットを広く分析し,検証する。
  論文  参考訳（メタデータ） (2024-08-21T09:48:22Z)
• Cross-modulated Attention Transformer for RGBT Tracking [35.1700920590541]
  本稿では,RGBT追跡のためのCross-modulated Attention Transformer (CAFormer) という新しい手法を提案する。 特に,まず各モードの相関写像を独立に生成し,それらを設計した相関変調拡張モジュールに供給する。 5つの公開RGBT追跡ベンチマークの実験は、提案したCAFormerの最先端手法に対する優れた性能を示している。
  論文  参考訳（メタデータ） (2024-08-05T03:54:40Z)
• Interactive Multi-Head Self-Attention with Linear Complexity [60.112941134420204]
  本研究では,アテンション行列のクロスヘッド間相互作用により,アテンション操作の情報フローが向上することを示す。 本稿では,アテンション操作をクエリとキーレスコンポーネントに分解する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-27T13:47:23Z)
• Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
  教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。 我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
  論文  参考訳（メタデータ） (2022-07-20T07:26:15Z)
• Tensor Representations for Action Recognition [54.710267354274194]
  シーケンスにおける人間の行動は、空間的特徴とその時間的ダイナミクスの複雑な相互作用によって特徴づけられる。 アクション認識タスクの視覚的特徴間の高次関係を捉えるための新しいテンソル表現を提案する。 我々は,高次テンソルといわゆる固有値パワー正規化(NEP)を用いて,高次事象のスペクトル検出を行う。
  論文  参考訳（メタデータ） (2020-12-28T17:27:18Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。