論文の概要: ParaFormer: A Generalized PageRank Graph Transformer for Graph Representation Learning

• arxiv url: http://arxiv.org/abs/2512.14619v1
• Date: Tue, 16 Dec 2025 17:30:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-17 16:49:26.815549
• Title: ParaFormer: A Generalized PageRank Graph Transformer for Graph Representation Learning
• Title（参考訳）: ParaFormer: グラフ表現学習のための一般化されたPageRankグラフ変換器
• Authors: Chaohao Yuan, Zhenjie Song, Ercan Engin Kuruoglu, Kangfei Zhao, Yang Liu, Deli Zhao, Hong Cheng, Yu Rong,
• Abstract要約: グラフ変換器(GT)は有望なグラフ学習ツールとして登場し、全ペア接続されたプロパティを活用して、グローバル情報を効果的にキャプチャする。 ディープGNNにおける過密問題に対処するため、当初はグローバルな注目を集め、ディープGNNの使用の必要性を排除した。 そこで我々はPageRank Transformer (ParaFormer)を提案する。
• 参考スコア（独自算出の注目度）: 40.07492322386042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Transformers (GTs) have emerged as a promising graph learning tool, leveraging their all-pair connected property to effectively capture global information. To address the over-smoothing problem in deep GNNs, global attention was initially introduced, eliminating the necessity for using deep GNNs. However, through empirical and theoretical analysis, we verify that the introduced global attention exhibits severe over-smoothing, causing node representations to become indistinguishable due to its inherent low-pass filtering. This effect is even stronger than that observed in GNNs. To mitigate this, we propose PageRank Transformer (ParaFormer), which features a PageRank-enhanced attention module designed to mimic the behavior of deep Transformers. We theoretically and empirically demonstrate that ParaFormer mitigates over-smoothing by functioning as an adaptive-pass filter. Experiments show that ParaFormer achieves consistent performance improvements across both node classification and graph classification tasks on 11 datasets ranging from thousands to millions of nodes, validating its efficacy. The supplementary material, including code and appendix, can be found in https://github.com/chaohaoyuan/ParaFormer.
• Abstract（参考訳）: グラフ変換器(GT)は有望なグラフ学習ツールとして登場し、全ペア接続されたプロパティを活用して、グローバル情報を効果的にキャプチャする。 ディープGNNにおける過密問題に対処するため、当初はグローバルな注目を集め、ディープGNNの使用の必要性を排除した。 しかし、経験的・理論的分析により、導入したグローバルアテンションが過度な過度な過度なスムース化を示し、ノード表現が固有の低域フィルタリングのために区別不能になることを示す。 この効果はGNNよりも強い。 そこで我々はPageRank Transformer (ParaFormer)を提案する。 我々はParaFormerが適応パスフィルタとして機能することで過度なスムース化を緩和することを示す。 実験によると、ParaFormerは数千から数百万のノードにわたる11のデータセット上のノード分類タスクとグラフ分類タスクの両方で一貫したパフォーマンス改善を実現し、その有効性を検証する。 code や appendix を含む補足資料は https://github.com/chaohaoyuan/ParaFormer.org にある。

関連論文リスト

• Diffusing to the Top: Boost Graph Neural Networks with Minimal Hyperparameter Tuning [33.948899558876604]
  グラフ条件付き潜在拡散フレームワーク(GNN-Diff)を導入し,高性能なGNNを生成する。 提案手法は,小,大,長距離グラフ上のノード分類とリンク予測という4つのグラフタスクを対象とした166の実験を通じて検証する。
  論文  参考訳（メタデータ） (2024-10-08T05:27:34Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• GPatcher: A Simple and Adaptive MLP Model for Alleviating Graph Heterophily [15.93465948768545]
  グラフニューラルネットワーク(GNN)フィルタにおけるグラフヘテロフィリーの影響を解明する。 我々は,パッチ・ミクサーアーキテクチャを利用したGPatcherというシンプルで強力なGNNを提案する。 本モデルでは, ノード分類において, 人気ホモフィリーGNNや最先端ヘテロフィリーGNNと比較して, 優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-25T20:57:35Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• Universal Prompt Tuning for Graph Neural Networks [10.250964386142819]
  我々は,任意の事前学習戦略の下で,事前学習したGNNモデルに対して,GPF(Graph Prompt Feature)と呼ばれる普遍的なプロンプトベースのチューニング手法を提案する。 GPFは入力グラフの特徴空間上で動作し、理論的には任意の形式のプロンプト関数に等価な効果を達成できる。 本手法は,事前学習戦略を応用したモデルに適用した場合,既存の特殊プロンプトベースのチューニング手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2022-09-30T05:19:27Z)
• Adaptive Kernel Graph Neural Network [21.863238974404474]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。 本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。 AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。 評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
  論文  参考訳（メタデータ） (2021-12-08T20:23:58Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。