論文の概要: Let the Heads Talk: Beyond Diagonal Graph Attention

• arxiv url: http://arxiv.org/abs/2610.01494v1
• Date: Thu, 01 Oct 2026 11:37:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.086787
• Title: Let the Heads Talk: Beyond Diagonal Graph Attention
• Title（参考訳）: 頭で話す: 対角グラフの注意を超えて
• Abstract要約: せん断ニューラルネットワークは、スカラーエッジ重みを局所特徴空間間の線形輸送マップに置き換えることで、スカラー重み付きメッセージパッシングを一般化する。 搬送プリミティブをクオリバー表現で分離し,マルチヘッドアテンションと直接接続を確立する。 トポロジカルアテンション(トポロジカルアテンション、Top-A)は、元の同じヘッドパスを保持し、追加のルーティングがなくなるとバニラの注意を正確に回復しながら、対角線外のルートを学習する。
• 参考スコア（独自算出の注目度）: 27.748920425040158
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sheaf Neural Networks generalize scalar-weighted message passing by replacing scalar edge weights with linear transport maps between local feature spaces. Yet the role of this matrix-valued transport is entangled with the broader sheaf-diffusion construction. We isolate the transport primitive through quiver representations and establish a direct connection with multi-head attention. Treating attention heads as coordinates of a local transport space reveals that standard multi-head attention implements diagonal edge maps: along each directed interaction, a source head can contribute only to the corresponding receiver head. Allowing off-diagonal entries instead enables edge-conditioned communication across heads before neighborhood aggregation. We show that this operation cannot, in general, be absorbed into a single shared linear map applied after aggregation. Building on this characterization, we introduce Topological Attention (Top-A), a multi-head attention that learns edge-dependent off-diagonal routes while preserving the original same-head paths and exactly recovering vanilla attention when the additional routing vanishes. We evaluate Top-A on relational reasoning, heterogeneous graph learning, and algorithmic reasoning, including out-of-distribution generalization, with heterophilic node classification as a contrast setting. The results show that cross-head transport is most useful when the task benefits from interaction-dependent transformations, while heterophily alone provides no systematic advantage. These findings identify edge-conditioned cross-head communication as a distinct computational primitive of matrix-valued transport.
• Abstract（参考訳）: せん断ニューラルネットワークは、スカラーエッジ重みを局所特徴空間間の線形輸送マップに置き換えることで、スカラー重み付きメッセージパッシングを一般化する。 しかし、この行列値輸送の役割は、より広い層拡散構造と絡み合っている。 搬送プリミティブをクオリバー表現で分離し,マルチヘッドアテンションと直接接続を確立する。 局所輸送空間の座標として注目ヘッドを扱うことで、標準のマルチヘッドアテンションが対角線マップを実装していることが明らかになった。 反対方向のエントリを許可すれば、近隣の集約の前にヘッド間のエッジ条件の通信が可能になる。 この操作は、一般に、集約後に適用される1つの共有線型写像に吸収できないことを示す。 この特徴を生かしたトポロジカルアテンション(トポロジカルアテンション(トポロジカルアテンション,Top-A)を導入する。 我々は、異種ノード分類をコントラスト設定として、関係推論、異種グラフ学習、アルゴリズム推論に関するTop-Aの評価を行った。 その結果,クロスヘッドトランスポートはタスクが相互依存的な変換の恩恵を受ける場合に最も有用であり,一方ヘテロフィリーだけでは系統的な優位性は得られないことがわかった。 これらの結果から, エッジ条件のクロスヘッド通信は, 行列値輸送の算術的プリミティブであることがわかった。

関連論文リスト

• Connectivity--Interference Competition in Coherent Transport on Percolated Hierarchical Small-World Networks [0.0]
  リンクを追加することで、利用可能なパスの数を増やすことで、古典的なトランスポートが向上する。 我々はコヒーレント量子輸送が逆の挙動を示すことを示す。 結果は、混乱したフォトニックおよび量子ネットワークアーキテクチャにおけるコヒーレントトランスポートの設計原理を提供する。
  論文  参考訳（メタデータ） (2026-08-19T17:26:32Z)
• Adjacency-Based Spectral Proxy Control of Mobile Communication Agents [0.23872611575805827]
  制御不能なタスクエージェントと制御不能な通信エージェントからなる異種移動エージェントネットワークを考察する。 接続の制御はグラフのラプラシア行列の2番目に小さい固有値に対応する固有ベクトルに依存する。 本稿では,フィドラー埋め込みを隣接行列の固有ベクトルに置き換えるA-Fiedlerを提案する。
  論文  参考訳（メタデータ） (2026-08-12T20:35:02Z)
• Pair-Centric Graph Rewiring for Over-Squashing via Optimal Transport-Guided Communication Alignment [24.215683640150413]
  グラフのリワイアリングはオーバースカッシングに対する構造的応答を提供する。 変更予算が限られているため、重要な疑問は、どのペアワイズ通信が構造的サポートを必要とするかである。 本稿では,ペア中心グラフ再構成フレームワークであるPairAlignを提案する。
  論文  参考訳（メタデータ） (2026-08-11T08:05:32Z)
• From Self-Attention to Connection Laplacian: A Unified Operator View of Transformers [53.505136935517925]
  自己注意は現代のシーケンスモデルにおいてユビキタスプリミティブであるが、作用素レベルの幾何学は部分的には理解されていない。 単頭注意 (SHA) は, 常に搬送される接続伝播ステップであることを示す。 トレーニングされたトランスフォーマー(124Mから8B)と構造(エンコーダ/デコーダ)は、我々の理論と整合した幾何学的構造を示す。
  論文  参考訳（メタデータ） (2026-07-12T09:44:54Z)
• NARRAS: Edge-Triggered Distributed Inference for CSI-Based Localization in Vehicular IoT Networks [52.237935683898144]
  車両用IoTネットワークにおけるCSIベースのローカライゼーションのためのETDIをインスタンス化する。 NARRASは、各RAAが最新の観測結果の要約と送信した最後の潜伏状態の記憶を結合した分散レポートポリシーである。
  論文  参考訳（メタデータ） (2026-06-10T10:47:44Z)
• Interactive Multi-Head Self-Attention with Linear Complexity [60.112941134420204]
  本研究では,アテンション行列のクロスヘッド間相互作用により,アテンション操作の情報フローが向上することを示す。 本稿では,アテンション操作をクエリとキーレスコンポーネントに分解する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-27T13:47:23Z)
• Beyond Separability: Analyzing the Linear Transferability of Contrastive Representations to Related Subpopulations [50.33975968859988]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータを用いて、下流の分類タスクに線形に分離可能な表現を生成する、非常に効果的な手法である。 最近の研究では、対照的表現はデータが単一のドメインから来るときに有用であるだけでなく、ドメイン間での転送にも有効であることが示されている。
  論文  参考訳（メタデータ） (2022-04-06T09:10:23Z)
• Channelized Axial Attention for Semantic Segmentation [70.14921019774793]
  チャネルアキシャルアテンション(CAA)を提案し、チャネルアテンションと軸アテンションをシームレスに統合し、計算複雑性を低減します。 私たちのCAAは、DANetのような他の注意モデルに比べて計算リソースをはるかに少なくするだけでなく、すべての検証済みデータセット上で最先端のResNet-101ベースのセグメンテーションモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-01-19T03:08:03Z)
• Adaptive feature recombination and recalibration for semantic segmentation with Fully Convolutional Networks [57.64866581615309]
  完全畳み込みネットワークを用いたセマンティックセグメンテーションに適応した特徴の組換えと空間適応型再分類ブロックを提案する。 その結果、再結合と再校正は競争ベースラインの結果を改善し、3つの異なる問題にまたがって一般化することを示した。
  論文  参考訳（メタデータ） (2020-06-19T15:45:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。