論文の概要: Simplifying Graph Neural Kernels: from Stacking Layers to Collapsed Structure

• arxiv url: http://arxiv.org/abs/2507.03560v1
• Date: Fri, 04 Jul 2025 13:12:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.782982
• Title: Simplifying Graph Neural Kernels: from Stacking Layers to Collapsed Structure
• Title（参考訳）: グラフニューラルカーネルの単純化:スタック層から崩壊構造へ
• Authors: Lin Wang, Shijie Wang, Sirui Huang, Qing Li,
• Abstract要約: Graph Neural Tangent Kernel(GNTK)は、カーネルメソッドとGraph Neural Networks(GNN)のギャップを埋めることに成功した 本稿では,従来の多層積層機構を連続的な$K$-stepアグリゲーション操作で置き換えるSGTK(Simplified Graph Neural Tangent Kernel)を提案する。 提案したSGTKとSGNKは,計算効率を向上しつつ,既存の手法に匹敵する性能を実現する。
• 参考スコア（独自算出の注目度）: 17.940972681488123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Graph Neural Tangent Kernel (GNTK) successfully bridges the gap between kernel methods and Graph Neural Networks (GNNs), addressing key challenges such as the difficulty of training deep networks and the limitations of traditional kernel methods. However, the existing layer-stacking strategy in GNTK introduces redundant computations, significantly increasing computational complexity and limiting scalability for practical applications. To address these issues, this paper proposes the Simplified Graph Neural Tangent Kernel (SGTK), which replaces the traditional multi-layer stacking mechanism with a continuous $K$-step aggregation operation. This novel approach streamlines the iterative kernel computation process, effectively eliminating redundant calculations while preserving the kernel's expressiveness. By reducing the dependency on layer stacking, SGTK achieves both computational simplicity and efficiency. Furthermore, we introduce the Simplified Graph Neural Kernel (SGNK), which models infinitely wide Graph Neural Networks as Gaussian Processes. This allows kernel values to be directly determined from the expected outputs of activation functions in the infinite-width regime, bypassing the need for explicit layer-by-layer computation. SGNK further reduces computational complexity while maintaining the capacity to capture intricate structural patterns in graphs. Extensive experiments on node and graph classification tasks demonstrate that the proposed SGTK and SGNK achieve performance comparable to existing approaches while improving computational efficiency. Implementation details are available at https://anonymous.4open.science/r/SGNK-1CE4/.
• Abstract（参考訳）: Graph Neural Tangent Kernel(GNTK)は、ディープネットワークのトレーニングの難しさや従来のカーネルメソッドの制限といった重要な課題に対処するため、カーネルメソッドとグラフニューラルネットワーク(GNN)のギャップを埋めることに成功した。 しかし、GNTKの既存のレイヤスタック戦略は、冗長な計算を導入し、計算の複雑さを大幅に増加させ、実用的なアプリケーションのスケーラビリティを制限している。 これらの問題に対処するために,従来の多層積層機構を連続的な$K$-stepアグリゲーション操作に置き換えたSGTKを提案する。 この新しいアプローチは反復的なカーネル計算プロセスを合理化し、カーネルの表現性を保ちながら冗長な計算を効果的に排除する。 SGTKは、層積み重ねへの依存を減らすことにより、計算の単純さと効率性を両立させる。 さらに、無限に広いグラフニューラルネットワークをガウス過程としてモデル化するSGNK(Simplified Graph Neural Kernel)を導入する。 これにより、カーネルの値は無限幅状態における活性化関数の期待出力から直接決定され、明示的なレイヤ・バイ・レイヤ計算の必要性を回避できる。 SGNKは、グラフ内の複雑な構造パターンをキャプチャする能力を維持しながら、計算の複雑さをさらに減らす。 ノードとグラフの分類タスクに関する大規模な実験は、提案したSGTKとSGNKが計算効率を向上しつつ、既存のアプローチに匹敵する性能を達成することを示した。 実装の詳細はhttps://anonymous.4open.science/r/SGNK-1CE4/で確認できる。

関連論文リスト

• Graph as a feature: improving node classification with non-neural graph-aware logistic regression [2.952177779219163]
  Graph-aware Logistic Regression (GLR) はノード分類タスク用に設計された非神経モデルである。 GNNにアクセスできる情報のごく一部しか使わない従来のグラフアルゴリズムとは異なり、提案モデルではノードの特徴とエンティティ間の関係を同時に活用する。
  論文  参考訳（メタデータ） (2024-11-19T08:32:14Z)
• Efficient Graph Similarity Computation with Alignment Regularization [7.143879014059894]
  グラフ類似性計算(GSC)は、グラフニューラルネットワーク(GNN)を用いた学習に基づく予測タスクである。 適応正規化(AReg)と呼ばれる,シンプルながら強力な正規化技術によって,高品質な学習が達成可能であることを示す。 推論段階では、GNNエンコーダによって学習されたグラフレベル表現は、ARegを再度使用せずに直接類似度スコアを計算するために使用される。
  論文  参考訳（メタデータ） (2024-06-21T07:37:28Z)
• Fast Graph Condensation with Structure-based Neural Tangent Kernel [30.098666399404287]
  グラフ構造化データのための新しいデータセット凝縮フレームワーク(GC-SNTK)を提案する。 構造ベースのニューラルタンジェントカーネル(SNTK)はグラフのトポロジを捉えるために開発され、KRRパラダイムのカーネル関数として機能する。 高い予測性能を維持しつつ,グラフ凝縮の高速化における提案モデルの有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-10-17T07:25:59Z)
• Graph Neural Network-Inspired Kernels for Gaussian Processes in Semi-Supervised Learning [4.644263115284322]
  グラフニューラルネットワーク(GNN)は、半教師付き学習において、グラフ構造化データのモデルとして期待できるクラスとして最近登場した。 この帰納バイアスをGPに導入して,グラフ構造化データの予測性能を向上させる。 これらのグラフベースのカーネルは、各GNNと比較して、競合する分類と回帰性能、および時間の長所をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-02-12T01:07:56Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Graph Kernel Neural Networks [53.91024360329517]
  本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。 これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。 私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
  論文  参考訳（メタデータ） (2021-12-14T14:48:08Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification [70.50751397870972]
  FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。 我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
  論文  参考訳（メタデータ） (2020-06-15T22:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。