Fugu-MT 論文翻訳(概要): PolyFormer: Scalable Node-wise Filters via Polynomial Graph Transformer

論文の概要: PolyFormer: Scalable Node-wise Filters via Polynomial Graph Transformer

arxiv url: http://arxiv.org/abs/2407.14459v1
Date: Fri, 19 Jul 2024 17:01:41 GMT
ステータス: 処理完了
システム内更新日: 2024-07-22 16:45:36.995182
Title: PolyFormer: Scalable Node-wise Filters via Polynomial Graph Transformer
Title（参考訳）: PolyFormer: Polynomial Graph Transformerによるスケーラブルなノードワイズフィルタ
Authors: Jiahong Ma, Mingguo He, Zhewei Wei,
Abstract要約: 本稿では,スケーラブルなノードワイドフィルタであるPolyAttnを提案する。提案手法は任意のノードワイドフィルタの学習に優れ、ホモ親和性グラフとヘテロ親和性グラフの両方において優れた性能を示す。
参考スコア（独自算出の注目度）: 22.287960384629585
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Spectral Graph Neural Networks have demonstrated superior performance in graph representation learning. However, many current methods focus on employing shared polynomial coefficients for all nodes, i.e., learning node-unified filters, which limits the filters' flexibility for node-level tasks. The recent DSF attempts to overcome this limitation by learning node-wise coefficients based on positional encoding. However, the initialization and updating process of the positional encoding are burdensome, hindering scalability on large-scale graphs. In this work, we propose a scalable node-wise filter, PolyAttn. Leveraging the attention mechanism, PolyAttn can directly learn node-wise filters in an efficient manner, offering powerful representation capabilities. Building on PolyAttn, we introduce the whole model, named PolyFormer. In the lens of Graph Transformer models, PolyFormer, which calculates attention scores within nodes, shows great scalability. Moreover, the model captures spectral information, enhancing expressiveness while maintaining efficiency. With these advantages, PolyFormer offers a desirable balance between scalability and expressiveness for node-level tasks. Extensive experiments demonstrate that our proposed methods excel at learning arbitrary node-wise filters, showing superior performance on both homophilic and heterophilic graphs, and handling graphs containing up to 100 million nodes. The code is available at https://github.com/air029/PolyFormer.
Abstract（参考訳）: スペクトルグラフニューラルネットワークはグラフ表現学習において優れた性能を示した。しかし、現在の多くの手法では、ノードレベルのタスクに対するフィルタの柔軟性を制限するノード統一フィルタの学習など、すべてのノードに対して共有多項式係数を使うことに重点を置いている。最近のDSFは、位置符号化に基づいてノードワイズ係数を学習することで、この制限を克服しようとしている。しかし、位置符号化の初期化と更新プロセスは重荷となり、大規模グラフのスケーラビリティを損なう。本研究では,スケーラブルなノードワイドフィルタPolyAttnを提案する。注意機構を活用することで、PolyAttnはノードワイズフィルタを直接効率的に学習し、強力な表現機能を提供する。 PolyAttn上に構築されたPolyFormerというモデル全体を紹介します。 Graph Transformerモデルのレンズでは、ノード内のアテンションスコアを計算するPolyFormerが、優れたスケーラビリティを示している。さらに、このモデルはスペクトル情報をキャプチャし、効率を保ちながら表現性を向上する。これらの利点により、PolyFormerは、ノードレベルのタスクに対するスケーラビリティと表現性の間の望ましいバランスを提供します。大規模な実験により,提案手法は任意のノードワイドフィルタの学習に優れ,ホモ親和性グラフとヘテロ親和性グラフの両方において優れた性能を示し,最大1億ノードのグラフを扱うことを示した。コードはhttps://github.com/air029/PolyFormer.comから入手できる。

関連論文リスト

Elevating Spectral GNNs through Enhanced Band-pass Filter Approximation [26.79625547648669]
まず,バンドパスグラフフィルタの近似性が向上したポリGNNが,グラフ学習タスクにおいて優れた性能を発揮することを示す。この知見は、既存のポリGNNの重要な問題、すなわち、これらのポリGNNはバンドパスグラフフィルタの近似において自明な性能を達成する。この問題に対処するために,バンドパスグラフフィルタの近似における先行的な性能を実現する,TrigoNetという新しいポリGNNを提案する。
論文参考訳（メタデータ） (2024-04-15T11:35:32Z)
Careful Selection and Thoughtful Discarding: Graph Explicit Pooling Utilizing Discarded Nodes [53.08068729187698]
本稿では,ノードと最終表現ベクトルの関係を明示的に活用してノードを選択するグラフ明示プール法を提案する。提案手法の有効性を検証するため,12種類の広く使用されているデータセットを対象とした総合的な実験を行った。
論文参考訳（メタデータ） (2023-11-21T14:44:51Z)
NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文参考訳（メタデータ） (2023-06-14T09:21:15Z)
Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文参考訳（メタデータ） (2022-09-20T14:41:37Z)
A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-16T22:46:33Z)
Neighbor2Seq: Deep Learning on Massive Graphs by Transforming Neighbors to Sequences [55.329402218608365]
本研究では,各ノードの階層的近傍をシーケンスに変換するためにNeighbor2Seqを提案する。 1100万以上のノードと160億のエッジを持つ大規模グラフ上で,本手法の評価を行った。その結果,提案手法は大規模グラフに対してスケーラブルであり,大規模グラフと中規模グラフにまたがる優れた性能を実現する。
論文参考訳（メタデータ） (2022-02-07T16:38:36Z)
A Piece-wise Polynomial Filtering Approach for Graph Neural Networks [0.45298395481707365]
グラフニューラルネットワーク(GNN)は、ノードの特徴と入力グラフトポロジからの信号を利用して、ノード分類タスクのパフォーマンスを向上させる。これらのモデルは、連結ノードが異なるラベルを持つヘテロ親和性グラフ上では性能が良くない傾向にある。提案モデルでは,最先端モデルに対して最大5%の性能向上を実現し,従来のフィルタ方式よりも優れた性能を示す。
論文参考訳（メタデータ） (2021-12-07T05:16:53Z)
Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
論文参考訳（メタデータ） (2021-04-26T19:31:21Z)
Complete the Missing Half: Augmenting Aggregation Filtering with Diversification for Graph Convolutional Networks [46.14626839260314]
我々は、現在のグラフニューラルネットワーク(GNN)が、特定のデータセットで学習するすべてのGNNメソッドの根底にある問題である可能性を示している。集約操作をそれらの双対、すなわち、ノードをより明確にし、アイデンティティを保存する多様化演算子で拡張する。このような拡張は、アグリゲーションを2チャネルのフィルタリングプロセスに置き換え、理論上、ノード表現を豊かにするのに役立つ。実験では,モデルの望ましい特性と,9ノード分類タスクのベースライン上での大幅な性能向上について検討した。
論文参考訳（メタデータ） (2020-08-20T08:45:16Z)
Permutohedral-GCN: Graph Convolutional Networks with Global Attention [7.873191259466302]
グラフ畳み込みネットワーク(GCN)は、グラフ内の隣人から機能を集約することで、ノードの特徴ベクトルを更新する。我々は,ノードがグラフ内の他のノードから選択的に参加し,特徴を集約するグローバルアテンション機構を導入する。得られた注意に基づくグローバルアグリゲーションスキームは高次元ガウスフィルタと類似していることを示す。
論文参考訳（メタデータ） (2020-03-02T02:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。