論文の概要: KAA: Kolmogorov-Arnold Attention for Enhancing Attentive Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2501.13456v1
- Date: Thu, 23 Jan 2025 08:14:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-24 15:59:03.800249
- Title: KAA: Kolmogorov-Arnold Attention for Enhancing Attentive Graph Neural Networks
- Title（参考訳）: KAA:Kolmogorov-Arnold氏が注目グラフニューラルネットワークの強化に留意
- Authors: Taoran Fang, Tianhong Gao, Chunping Wang, Yihao Shang, Wei Chow, Lei Chen, Yang Yang,
- Abstract要約: 注意機構を持つグラフニューラルネットワーク(GNN)は、近年、高度なGNNモデルにおいて顕著なパラダイムとして出現している。
我々は,KANアーキテクチャをスコアリングプロセスに統合したKAL(Kolmogorov-Arnold Attention)を提案する。
KAAは、ボード全体のスコアリング機能の性能を高め、既存のほぼすべての注意深いGNNに適用することができる。
- 参考スコア（独自算出の注目度）: 8.208170921458086
- License:
- Abstract: Graph neural networks (GNNs) with attention mechanisms, often referred to as attentive GNNs, have emerged as a prominent paradigm in advanced GNN models in recent years. However, our understanding of the critical process of scoring neighbor nodes remains limited, leading to the underperformance of many existing attentive GNNs. In this paper, we unify the scoring functions of current attentive GNNs and propose Kolmogorov-Arnold Attention (KAA), which integrates the Kolmogorov-Arnold Network (KAN) architecture into the scoring process. KAA enhances the performance of scoring functions across the board and can be applied to nearly all existing attentive GNNs. To compare the expressive power of KAA with other scoring functions, we introduce Maximum Ranking Distance (MRD) to quantitatively estimate their upper bounds in ranking errors for node importance. Our analysis reveals that, under limited parameters and constraints on width and depth, both linear transformation-based and MLP-based scoring functions exhibit finite expressive power. In contrast, our proposed KAA, even with a single-layer KAN parameterized by zero-order B-spline functions, demonstrates nearly infinite expressive power. Extensive experiments on both node-level and graph-level tasks using various backbone models show that KAA-enhanced scoring functions consistently outperform their original counterparts, achieving performance improvements of over 20% in some cases.
- Abstract（参考訳）: 注意機構を持つグラフニューラルネットワーク(GNN)は、近年、高度なGNNモデルにおいて顕著なパラダイムとして出現している。
しかし、近隣ノードのスコアリングの臨界過程に対する我々の理解は限定的であり、既存の多くの注意GNNの過小評価に繋がる。
本稿では,現在注目されているGNNのスコアリング機能を統一し,KANアーキテクチャをスコアリングプロセスに統合したKolmogorov-Arnold Attention (KAA)を提案する。
KAAは、ボード全体のスコアリング機能の性能を高め、既存のほぼすべての注意深いGNNに適用することができる。
KAAの表現力と他のスコアリング関数を比較するために,ノード重要度に対するランキング誤差の上限を定量的に推定するために,最大ランク付け距離(MRD)を導入する。
解析の結果, 幅と深さの制約やパラメータが限定されている場合, 線形変換とMDPに基づくスコアリング関数はともに有限表現力を示すことがわかった。
対照的に、提案したKAAは、ゼロ階のB-スプライン関数でパラメータ化された単層KAAであっても、ほぼ無限の表現力を示す。
様々なバックボーンモデルを用いたノードレベルのタスクとグラフレベルのタスクの広範な実験により、KAAが強化したスコアリング関数は、元のタスクよりも一貫して優れており、場合によっては20%以上のパフォーマンス改善が達成されている。
関連論文リスト
- Graph as a feature: improving node classification with non-neural graph-aware logistic regression [2.952177779219163]
Graph-aware Logistic Regression (GLR) はノード分類タスク用に設計された非神経モデルである。
GNNにアクセスできる情報のごく一部しか使わない従来のグラフアルゴリズムとは異なり、提案モデルではノードの特徴とエンティティ間の関係を同時に活用する。
論文 参考訳（メタデータ） (2024-11-19T08:32:14Z) - Spiking Graph Neural Network on Riemannian Manifolds [51.15400848660023]
グラフニューラルネットワーク(GNN)は、グラフの学習において支配的なソリューションとなっている。
既存のスパイク GNN はユークリッド空間のグラフを考慮し、構造幾何学を無視している。
マニフォールド値スパイキングGNN(MSG)を提案する。
MSGは従来のGNNよりも優れた性能とエネルギー効率を実現している。
論文 参考訳（メタデータ） (2024-10-23T15:09:02Z) - Unifying over-smoothing and over-squashing in graph neural networks: A
physics informed approach and beyond [45.370565281567984]
グラフニューラルネットワーク(GNN)は、グラフ構造化データの機械学習における主要なアプローチの1つである。
過密化、過密化、限られた表現力といった重要な計算課題は、GNNの性能に影響を与え続けている。
本稿では,マルチスケールヒートカーネルベースGNN (MHKG) を導入し,多様なフィルタ関数がノード特性に与える影響について検討する。
論文 参考訳（メタデータ） (2023-09-06T06:22:18Z) - Learnable Graph Convolutional Attention Networks [7.465923786151107]
グラフニューラルネットワーク(GNN)は、ノード間のメッセージ交換を、隣接するすべてのノードの特徴を均一に(関連する)集約するか、あるいは特徴に一様でないスコア(動作)を適用することによって計算する。
最近の研究は、それぞれGCNとGATのGNNアーキテクチャの長所と短所を示している。
本稿では、注目スコアを計算するために、畳み込みに依存するグラフ畳み込みアテンション層(CAT)を紹介する。
以上の結果から,L-CATはネットワーク上の異なるGNN層を効率よく結合し,競合する手法よりも広い範囲で優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2022-11-21T21:08:58Z) - MGNNI: Multiscale Graph Neural Networks with Implicit Layers [53.75421430520501]
暗黙グラフニューラルネットワーク(GNN)は、基礎となるグラフの長距離依存性をキャプチャするために提案されている。
暗黙的GNNの2つの弱点は、長距離依存を捉えるための限られた有効範囲による制約付き表現性と、複数の解像度でグラフ上のマルチスケール情報をキャプチャする能力の欠如である。
グラフ上のマルチスケール構造をモデル化できる暗黙の層(MGNNI)を持つマルチスケールグラフニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2022-10-15T18:18:55Z) - EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural
Networks [51.42338058718487]
グラフニューラルネットワーク(GNN)は、グラフ機械学習における有望なパフォーマンスについて、広範な研究の注目を集めている。
GCNやGPRGNNのような既存のアプローチは、テストグラフ上のホモフィリな変化に直面しても堅牢ではない。
偶数多項式グラフフィルタに対応するスペクトルGNNであるEvenNetを提案する。
論文 参考訳（メタデータ） (2022-05-27T10:48:14Z) - EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。
この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。
EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2022-02-22T08:16:58Z) - The Surprising Power of Graph Neural Networks with Random Node
Initialization [54.4101931234922]
グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。
標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。
本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。
我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
論文 参考訳（メタデータ） (2020-10-02T19:53:05Z) - Principal Neighbourhood Aggregation for Graph Nets [4.339839287869653]
グラフニューラルネットワーク(GNN)は、グラフ構造化データ上の様々な予測タスクに有効なモデルであることが示されている。
表現力に関する最近の研究は同型タスクと可算特徴空間に焦点を当てている。
我々はこの理論フレームワークを拡張し、現実世界の入力領域で定期的に発生する連続的な特徴を含める。
論文 参考訳（メタデータ） (2020-04-12T23:30:00Z) - Cross-GCN: Enhancing Graph Convolutional Network with $k$-Order Feature
Interactions [153.6357310444093]
Graph Convolutional Network(GCN)は,グラフデータの学習と推論を行う新興技術である。
我々は、GCNの既存の設計がクロスフィーチャをモデリングし、クロスフィーチャが重要であるタスクやデータに対してGCNの効率を損なうことを論じている。
我々は、任意の次交叉特徴を、特徴次元と順序サイズに線形に複雑にモデル化した、クロスフィーチャーグラフ畳み込みという新しい演算子を設計する。
論文 参考訳（メタデータ） (2020-03-05T13:05:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。