論文の概要: Tailoring Self-Attention for Graph via Rooted Subtrees

• arxiv url: http://arxiv.org/abs/2310.05296v1
• Date: Sun, 8 Oct 2023 21:47:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 08:40:49.470508
• Title: Tailoring Self-Attention for Graph via Rooted Subtrees
• Title（参考訳）: ルートサブツリーによるグラフの自己認識
• Authors: Siyuan Huang, Yunchong Song, Jiayue Zhou, Zhouhan Lin
• Abstract要約: 本稿では,上記の問題に対処するために,サブツリー注意(Subtree Attention, STA)と呼ばれる新しいマルチホップグラフアテンション機構を提案する。 マルチホップ近傍における注意重みの直接計算を行うことにより、STAは既存のグラフ注意機構の固有の問題を緩和する。 得られたGNNアーキテクチャSTAGNNは、単純なSTAベースのグラフニューラルネットワークを提供する。
• 参考スコア（独自算出の注目度）: 29.822899665579673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention mechanisms have made significant strides in graph learning, yet they still exhibit notable limitations: local attention faces challenges in capturing long-range information due to the inherent problems of the message-passing scheme, while global attention cannot reflect the hierarchical neighborhood structure and fails to capture fine-grained local information. In this paper, we propose a novel multi-hop graph attention mechanism, named Subtree Attention (STA), to address the aforementioned issues. STA seamlessly bridges the fully-attentional structure and the rooted subtree, with theoretical proof that STA approximates the global attention under extreme settings. By allowing direct computation of attention weights among multi-hop neighbors, STA mitigates the inherent problems in existing graph attention mechanisms. Further we devise an efficient form for STA by employing kernelized softmax, which yields a linear time complexity. Our resulting GNN architecture, the STAGNN, presents a simple yet performant STA-based graph neural network leveraging a hop-aware attention strategy. Comprehensive evaluations on ten node classification datasets demonstrate that STA-based models outperform existing graph transformers and mainstream GNNs. The code is available at https://github.com/LUMIA-Group/SubTree-Attention.
• Abstract（参考訳）: ローカル注意は、メッセージパッシングスキームの固有の問題のために、長距離情報を取得することの難しさに直面しているが、グローバル注意は階層的な近隣構造を反映しておらず、きめ細かいローカル情報を捉えることができない。 本稿では,上述の問題に対処するために,サブツリー注意(Subtree Attention, STA)と呼ばれる新しいマルチホップグラフアテンション機構を提案する。 STAは、完全アテンショナル構造とルート木をシームレスにブリッジし、STAが極端な設定の下でグローバルな注意を近似することを理論的に証明する。 マルチホップ近傍における注意重みの直接計算を行うことにより、STAは既存のグラフ注意機構の固有の問題を緩和する。 さらに,カーネル化されたソフトマックスを用いて,STAの効率的な形式を考案し,線形時間複雑性を実現する。 結果として得られたGNNアーキテクチャであるSTAGNNは、ホップ認識型アテンション戦略を活用する単純なSTAベースのグラフニューラルネットワークを提供する。 10のノード分類データセットの総合評価は、STAベースのモデルが既存のグラフ変換器やメインストリームのGNNより優れていることを示している。 コードはhttps://github.com/LUMIA-Group/SubTree-Attentionで入手できる。

関連論文リスト

• Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
  本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
  論文  参考訳（メタデータ） (2024-09-09T12:56:02Z)
• Representation Learning on Heterophilic Graph with Directional Neighborhood Attention [8.493802098034255]
  Graph Attention Network(GAT)は、最も人気のあるGraph Neural Network(GNN)アーキテクチャの1つである。 GATは、長距離およびグローバルグラフ情報をキャプチャする能力に欠けており、いくつかのデータセットで不満足なパフォーマンスをもたらす。 本稿では,特徴に基づく注意と,グラフトポロジから抽出したグローバルな方向性情報を組み合わせるために,DGAT(Directional Graph Attention Network)を提案する。
  論文  参考訳（メタデータ） (2024-03-03T10:59:16Z)
• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• Redundancy-Free Self-Supervised Relational Learning for Graph Clustering [13.176413653235311]
  冗長フリーグラフクラスタリング(R$2$FGC)という,自己教師付き深層グラフクラスタリング手法を提案する。 オートエンコーダとグラフオートエンコーダに基づいて,グローバルビューとローカルビューの両方から属性レベルと構造レベルの関係情報を抽出する。 この実験は,R$2$FGCが最先端のベースラインよりも優れていることを示すために,広く使用されているベンチマークデータセット上で実施されている。
  論文  参考訳（メタデータ） (2023-09-09T06:18:50Z)
• Cell Attention Networks [25.72671436731666]
  グラフの頂点上で定義されたデータを操作するニューラルネットワークであるCell Attention Networks (CANs)を紹介する。 CANは、細胞複合体にコードされているように、下部と上部の地区を利用して、2つの独立したマスク付き自己保持機構を設計する。 実験結果から,CANはグラフベースの学習課題における技術結果と同等に比較可能な,低複雑性戦略であることが示唆された。
  論文  参考訳（メタデータ） (2022-09-16T21:57:39Z)
• Simple and Efficient Heterogeneous Graph Neural Network [55.56564522532328]
  不均一グラフニューラルネットワーク(HGNN)は、不均一グラフの豊富な構造的および意味的な情報をノード表現に埋め込む強力な能力を持つ。 既存のHGNNは、同種グラフ上のグラフニューラルネットワーク(GNN)から多くのメカニズム、特に注意機構と多層構造を継承する。 本稿では,これらのメカニズムを詳細に検討し,簡便かつ効率的なヘテロジニアスグラフニューラルネットワーク(SeHGNN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T10:01:46Z)
• Reliable Representations Make A Stronger Defender: Unsupervised Structure Refinement for Robust GNN [36.045702771828736]
  グラフニューラルネットワーク(GNN)は、グラフデータ上でのタスクの繁栄に成功している。 近年の研究では、グラフ構造を悪質に修正することで、攻撃者がGNNの性能を壊滅的に低下させることができることが示されている。 グラフ構造を最適化するための教師なしパイプラインSTABLEを提案する。
  論文  参考訳（メタデータ） (2022-06-30T10:02:32Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• Hierarchical Message-Passing Graph Neural Networks [12.207978823927386]
  本稿では,新しい階層型メッセージパッシンググラフニューラルネットワークフレームワークを提案する。 鍵となるアイデアは、フラットグラフ内のすべてのノードをマルチレベルなスーパーグラフに再編成する階層構造を生成することである。 階層型コミュニティ対応グラフニューラルネットワーク(HC-GNN)と呼ばれる,このフレームワークを実装した最初のモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-08T13:11:07Z)
• Structural Temporal Graph Neural Networks for Anomaly Detection in Dynamic Graphs [54.13919050090926]
  本稿では,動的グラフの異常エッジを検出するために,エンドツーエンドの時間構造グラフニューラルネットワークモデルを提案する。 特に,まずターゲットエッジを中心にした$h$ホップ囲むサブグラフを抽出し,各ノードの役割を識別するノードラベル機能を提案する。 抽出した特徴に基づき,GRU(Gated Recurrent Unit)を用いて,異常検出のための時間的情報を取得する。
  論文  参考訳（メタデータ） (2020-05-15T09:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。