論文の概要: Learning from Historical Activations in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2601.01123v1
• Date: Sat, 03 Jan 2026 08:51:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:22.04166
• Title: Learning from Historical Activations in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークにおける履歴活性化からの学習
• Authors: Yaniv Galron, Hadar Sinai, Haggai Maron, Moshe Eliasof,
• Abstract要約: HISTOGRAPHは、2段階のアテンションに基づくファイナルアグリゲーション層であり、まず中間アクティベーションに対して統一層ワイドアグリゲーションを適用し、次にノードワイドアグリゲーションを適用した。 複数のグラフ分類ベンチマークの実証的な結果から、HISTOGRAPHは、特に深いGNNにおいて、従来手法を一貫して改善する強力なパフォーマンスを提供することが示された。
• 参考スコア（独自算出の注目度）: 30.897189154307025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have demonstrated remarkable success in various domains such as social networks, molecular chemistry, and more. A crucial component of GNNs is the pooling procedure, in which the node features calculated by the model are combined to form an informative final descriptor to be used for the downstream task. However, previous graph pooling schemes rely on the last GNN layer features as an input to the pooling or classifier layers, potentially under-utilizing important activations of previous layers produced during the forward pass of the model, which we regard as historical graph activations. This gap is particularly pronounced in cases where a node's representation can shift significantly over the course of many graph neural layers, and worsened by graph-specific challenges such as over-smoothing in deep architectures. To bridge this gap, we introduce HISTOGRAPH, a novel two-stage attention-based final aggregation layer that first applies a unified layer-wise attention over intermediate activations, followed by node-wise attention. By modeling the evolution of node representations across layers, our HISTOGRAPH leverages both the activation history of nodes and the graph structure to refine features used for final prediction. Empirical results on multiple graph classification benchmarks demonstrate that HISTOGRAPH offers strong performance that consistently improves traditional techniques, with particularly strong robustness in deep GNNs.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、ソーシャルネットワークや分子化学など、様々な領域で顕著な成功を収めている。 GNNの重要なコンポーネントはプール処理であり、モデルによって計算されたノード特徴を結合して、下流タスクに使用する情報的最終記述子を形成する。 しかし、過去のグラフプーリングスキームは、プーリング層や分類器層への入力として最後のGNN層機能に依存しており、モデルの前方通過時に生成された前の層の重要なアクティベーションを過小に活用する可能性があり、これは過去のグラフアクティベーションと見なす。 このギャップは、ノードの表現が多くのグラフニューラルネットワーク層に沿って大きくシフトできる場合に特に顕著であり、ディープアーキテクチャにおけるオーバースムーシングのようなグラフ固有の課題によって悪化する。 このギャップを埋めるために、HISTOGRAPHという新しい2段階の注意に基づく最終集合層を導入し、まず中間活性化に対して統一的な層ワイドの注意を、次にノードワイドの注意を施した。 階層間のノード表現の進化をモデル化することにより、HISTOGRAPHはノードの活性化履歴とグラフ構造の両方を活用し、最終的な予測に使用する機能を洗練します。 複数のグラフ分類ベンチマークの実証的な結果から、HISTOGRAPHは、特に深いGNNにおいて、従来手法を一貫して改善する強力なパフォーマンスを提供することが示された。

関連論文リスト

• Hypergraph Neural Network with State Space Models for Node Classification [0.0]
  状態空間モデル(HGMN)を用いた新しいハイパーグラフニューラルネットワークを提案する。 HGMNはロール認識表現をGNNと状態空間モデルに効果的に統合する。 このモデルは、最先端のGNN手法と比較してノード分類タスクにおいて顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2025-08-08T04:54:12Z)
• Spatiotemporal Graph Learning with Direct Volumetric Information Passing and Feature Enhancement [62.91536661584656]
  本稿では,CeFeGNN(CeFeGNN)とCell-embeddedとFeature-enhanced Graph Neural Networkを学習用として提案する。 学習可能なセル属性を共通ノードエッジメッセージパッシングプロセスに埋め込むことで,地域特性の空間依存性をよりよく把握する。 各種PDEシステムと1つの実世界のデータセットを用いた実験により、CeFeGNNは他のベースラインと比較して優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-09-26T16:22:08Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Efficient Topology-aware Data Augmentation for High-Degree Graph Neural Networks [2.7523980737007414]
  高次グラフ(HDG)上のグラフニューラルネットワーク(GNN)のための効率的かつ効果的なフロントマウントデータ拡張フレームワークであるTADを提案する。 内部では、(i)構造埋め込みによる機能拡張と(ii)トポロジと属性対応グラフのスパース化という、2つの重要なモジュールが含まれている。 TADAは、ノード分類の観点から8つの実ホモ親和性/ヘテロ親和性HDG上でのメインストリームGNNモデルの予測性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-06-08T14:14:19Z)
• Deep Graph Neural Networks via Posteriori-Sampling-based Node-Adaptive Residual Module [65.81781176362848]
  グラフニューラルネットワーク(GNN)は、近隣情報収集を通じてグラフ構造化データから学習することができる。 レイヤーの数が増えるにつれて、ノード表現は区別不能になり、オーバー・スムーシング(over-smoothing)と呼ばれる。 我々は,textbfPosterior-Sampling-based, Node-distinguish Residual Module (PSNR)を提案する。
  論文  参考訳（メタデータ） (2023-05-09T12:03:42Z)
• Deep Manifold Learning with Graph Mining [80.84145791017968]
  グラフマイニングのための非段階的決定層を持つ新しいグラフ深層モデルを提案する。 提案モデルでは,現行モデルと比較して最先端性能を実現している。
  論文  参考訳（メタデータ） (2022-07-18T04:34:08Z)
• CatGCN: Graph Convolutional Networks with Categorical Node Features [99.555850712725]
  CatGCNはグラフ学習に適したノード機能である。 エンドツーエンドでCatGCNを訓練し、半教師付きノード分類でそれを実証する。
  論文  参考訳（メタデータ） (2020-09-11T09:25:17Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。