論文の概要: Focus Where It Matters: Graph Selective State Focused Attention Networks
- arxiv url: http://arxiv.org/abs/2410.15849v1
- Date: Mon, 21 Oct 2024 10:25:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:17:24.480688
- Title: Focus Where It Matters: Graph Selective State Focused Attention Networks
- Title（参考訳）: 注目すべき点 - グラフ選択型アテンションネットワーク
- Authors: Shikhar Vashistha, Neetesh Kumar,
- Abstract要約: 本稿では,グラフ構造化データに対するGSAN(Graph Selective States Focused Attention Networks)に基づくニューラルネットワークアーキテクチャを提案する。
GSANは、MHMSA(Multi-head masked self-attention)層と選択状態空間モデリング(S3M)層によって実現されている。
S3M層は、目に見えない構造の一般化を促進し、ノード状態がリンクの重要性にどのように影響するかを解釈する。
- 参考スコア（独自算出の注目度）: 5.220940151628735
- License:
- Abstract: Traditional graph neural networks (GNNs) lack scalability and lose individual node characteristics due to over-smoothing, especially in the case of deeper networks. This results in sub-optimal feature representation, affecting the model's performance on tasks involving dynamically changing graphs. To address this issue, we present Graph Selective States Focused Attention Networks (GSANs) based neural network architecture for graph-structured data. The GSAN is enabled by multi-head masked self-attention (MHMSA) and selective state space modeling (S3M) layers to overcome the limitations of GNNs. In GSAN, the MHMSA allows GSAN to dynamically emphasize crucial node connections, particularly in evolving graph environments. The S3M layer enables the network to adjust dynamically in changing node states and improving predictions of node behavior in varying contexts without needing primary knowledge of the graph structure. Furthermore, the S3M layer enhances the generalization of unseen structures and interprets how node states influence link importance. With this, GSAN effectively outperforms inductive and transductive tasks and overcomes the issues that traditional GNNs experience. To analyze the performance behavior of GSAN, a set of state-of-the-art comparative experiments are conducted on graphs benchmark datasets, including $Cora$, $Citeseer$, $Pubmed$ network citation, and $protein-protein-interaction$ datasets, as an outcome, GSAN improved the classification accuracy by $1.56\%$, $8.94\%$, $0.37\%$, and $1.54\%$ on $F1-score$ respectively.
- Abstract（参考訳）: 従来のグラフニューラルネットワーク(GNN)はスケーラビリティを欠き、特にディープネットワークの場合、オーバースムーシングによって個々のノード特性を失う。
この結果、グラフを動的に変更するタスクにおいて、モデルの性能に影響を与える、準最適特徴表現が得られる。
この問題に対処するために、グラフ構造化データのためのGSAN(Graph Selective States Focused Attention Networks)ベースのニューラルネットワークアーキテクチャを提案する。
GSANはMHMSA(Multi-head masked self-attention)層と選択状態空間モデリング(S3M)層によって実現され、GNNの限界を克服する。
GSANでは、MHMSAによりGSANは特に進化するグラフ環境において、重要なノード接続を動的に強調することができる。
S3M層により、ネットワークは変化しているノード状態の動的調整を可能にし、グラフ構造に関する一次知識を必要とせずに、様々なコンテキストにおけるノードの振る舞いの予測を改善することができる。
さらに、S3M層は、目に見えない構造の一般化を促進し、ノード状態がリンクの重要性にどのように影響するかを解釈する。
これによりGSANは、インダクティブタスクとトランスダクティブタスクを効果的に上回り、従来のGNNが経験した問題を克服する。
Cora$、$Citeseer$、$Pubmed$ネットワーク引用、$ protein- protein-interaction$データセットなどのグラフベンチマークデータセットでGSANのパフォーマンス挙動を分析するため、GSANは分類精度を$F1-score$で1.56\%$、$8.94\%$、$0.37\%$、$F1-score$で1.54\%改善した。
関連論文リスト
- Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる
本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。
我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
論文 参考訳（メタデータ） (2024-05-27T17:52:12Z) - Implicit Graph Neural Diffusion Networks: Convergence, Generalization,
and Over-Smoothing [7.984586585987328]
Inlicit Graph Neural Networks (GNN)は、グラフ学習問題に対処する上で大きな成功を収めた。
パラメータ化グラフラプラシアン演算子に基づく暗黙グラフ拡散層を設計するための幾何学的枠組みを提案する。
ディリクレエネルギー最小化問題の固定点方程式として, 暗黙のGNN層がどう見えるかを示す。
論文 参考訳（メタデータ） (2023-08-07T05:22:33Z) - Taxonomy of Benchmarks in Graph Representation Learning [14.358071994798964]
グラフニューラルネットワーク(GNN)は、その固有の幾何学を考慮し、ニューラルネットワークの成功をグラフ構造化データに拡張する。
現在、グラフ表現学習ベンチマークによって、与えられたモデルのどの側面が調査されているかはよく分かっていない。
本稿では,グラフの摂動によってGNNの性能がどれだけ変化するかに基づいて,$textitsensitivity profile$に従ってベンチマークデータセットを分類する手法を開発した。
論文 参考訳（メタデータ） (2022-06-15T18:01:10Z) - Simplifying approach to Node Classification in Graph Neural Networks [7.057970273958933]
グラフニューラルネットワークのノード特徴集約ステップと深さを分離し、異なる集約特徴が予測性能にどのように寄与するかを経験的に分析する。
集約ステップによって生成された全ての機能が有用であるとは限らないことを示し、これらの少ない情報的特徴を用いることは、GNNモデルの性能に有害であることを示す。
提案モデルでは,提案モデルが最先端のGNNモデルと同等あるいはそれ以上の精度を達成可能であることを実証的に示す。
論文 参考訳（メタデータ） (2021-11-12T14:53:22Z) - Node Feature Extraction by Self-Supervised Multi-scale Neighborhood
Prediction [123.20238648121445]
我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。
GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。
我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
論文 参考訳（メタデータ） (2021-10-29T19:55:12Z) - Hierarchical graph neural nets can capture long-range interactions [8.067880298298185]
与えられたグラフの多重解像度表現を利用する階層的メッセージパッシングモデルについて検討する。
これにより、ローカル情報を失うことなく、大きな受容領域にまたがる特徴の学習が容易になる。
階層グラフネット(HGNet)を導入し、任意の2つの接続ノードに対して、最大対数長のメッセージパスパスが存在することを保証します。
論文 参考訳（メタデータ） (2021-07-15T16:24:22Z) - Improving Graph Neural Networks with Simple Architecture Design [7.057970273958933]
グラフニューラルネットワークの重要な設計戦略をいくつか紹介する。
簡便で浅いモデルである特徴選択グラフニューラルネットワーク(FSGNN)を紹介します。
提案手法は,他のGNNモデルよりも優れており,ノード分類タスクの精度が最大64%向上していることを示す。
論文 参考訳（メタデータ） (2021-05-17T06:46:01Z) - Distance Encoding: Design Provably More Powerful Neural Networks for
Graph Representation Learning [63.97983530843762]
グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。
GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。
より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。
本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
論文 参考訳（メタデータ） (2020-08-31T23:15:40Z) - Graph Highway Networks [77.38665506495553]
グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。
彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。
本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
論文 参考訳（メタデータ） (2020-04-09T16:26:43Z) - GPS-Net: Graph Property Sensing Network for Scene Graph Generation [91.60326359082408]
シーングラフ生成(SGG)は、画像内のオブジェクトとそれらのペア関係を検出することを目的としている。
GPS-Netは、エッジ方向情報、ノード間の優先度の差、長期にわたる関係の分布という、SGGの3つの特性を網羅している。
GPS-Netは、VG、OI、VRDの3つの一般的なデータベース上での最先端のパフォーマンスを、さまざまな設定とメトリクスで大幅に向上させる。
論文 参考訳（メタデータ） (2020-03-29T07:22:31Z) - EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。
EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。
これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
論文 参考訳（メタデータ） (2020-01-21T15:51:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。