論文の概要: NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification

• arxiv url: http://arxiv.org/abs/2306.08385v1
• Date: Wed, 14 Jun 2023 09:21:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 19:39:51.701063
• Title: NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification
• Title（参考訳）: NodeFormer: ノード分類のためのスケーラブルなグラフ構造学習トランスフォーマー
• Authors: Qitian Wu, Wentao Zhao, Zenan Li, David Wipf, Junchi Yan
• Abstract要約: 本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
• 参考スコア（独自算出の注目度）: 70.51126383984555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph neural networks have been extensively studied for learning with inter-connected data. Despite this, recent evidence has revealed GNNs' deficiencies related to over-squashing, heterophily, handling long-range dependencies, edge incompleteness and particularly, the absence of graphs altogether. While a plausible solution is to learn new adaptive topology for message passing, issues concerning quadratic complexity hinder simultaneous guarantees for scalability and precision in large networks. In this paper, we introduce a novel all-pair message passing scheme for efficiently propagating node signals between arbitrary nodes, as an important building block for a pioneering Transformer-style network for node classification on large graphs, dubbed as \textsc{NodeFormer}. Specifically, the efficient computation is enabled by a kernerlized Gumbel-Softmax operator that reduces the algorithmic complexity to linearity w.r.t. node numbers for learning latent graph structures from large, potentially fully-connected graphs in a differentiable manner. We also provide accompanying theory as justification for our design. Extensive experiments demonstrate the promising efficacy of the method in various tasks including node classification on graphs (with up to 2M nodes) and graph-enhanced applications (e.g., image classification) where input graphs are missing.
• Abstract（参考訳）: グラフニューラルネットワークは、相互接続データによる学習のために広く研究されている。 これにもかかわらず、近年の証拠は、GNNが過剰なスカッシング、ヘテロフィリー、長距離依存関係の扱い、エッジの不完全性、特にグラフの完全欠如に関連する欠陥を明らかにしている。 メッセージパッシングのための新しい適応トポロジを学習することが有効な解決策であるが、二次複雑性に関する問題は、大規模ネットワークにおけるスケーラビリティと精度の同時保証を妨げる。 本稿では,大規模グラフ上でノード分類を行うTransformerスタイルネットワークにおいて,任意のノード間のノード信号を効率的に伝搬するための新しい全ペアメッセージパッシング方式を提案する。 具体的には、効率的な計算は、アルゴリズムの複雑さを線形性(w.r.t. node number)に還元し、潜在グラフ構造を大きな、潜在的に完全連結なグラフから微分可能な方法で学習する。 設計の正当化として、付随する理論も提供します。 広範な実験により、入力グラフが欠落しているグラフ(最大2mノード)のノード分類や、グラフ強調アプリケーション(画像分類など)など、様々なタスクにおいて、この手法が有望な有効性を示す。

関連論文リスト

• Learning to Approximate Adaptive Kernel Convolution on Graphs [4.434835769977399]
  本稿では,拡散カーネルのスケールによって特徴集約の範囲を制御できる拡散学習フレームワークを提案する。 本モデルは,最先端データセットの性能評価のためのノードワイズ分類のための様々な標準で検証されている。 グラフ分類のための実世界の脳ネットワークデータにも検証され、アルツハイマー分類の実用性を実証している。
  論文  参考訳（メタデータ） (2024-01-22T10:57:11Z)
• Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
  本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。 提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
  論文  参考訳（メタデータ） (2024-01-12T17:57:07Z)
• GraphRARE: Reinforcement Learning Enhanced Graph Neural Network with Relative Entropy [21.553180564868306]
  GraphRAREはノード相対エントロピーと深層強化学習に基づいて構築されたフレームワークである。 革新的なノード相対エントロピーは、ノードペア間の相互情報を測定するために使用される。 グラフトポロジを最適化するために,深層強化学習に基づくアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-12-15T11:30:18Z)
• Seq-HGNN: Learning Sequential Node Representation on Heterogeneous Graph [57.2953563124339]
  本稿では,シーケンシャルノード表現,すなわちSeq-HGNNを用いた新しい異種グラフニューラルネットワークを提案する。 Heterogeneous Graph Benchmark (HGB) と Open Graph Benchmark (OGB) の4つの広く使われているデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T07:27:18Z)
• Addressing Heterophily in Node Classification with Graph Echo State Networks [11.52174067809364]
  ノード分類のためのグラフエコー状態ネットワーク(GESN)を用いた異種グラフの課題に対処する。 GESNはグラフのための貯水池計算モデルであり、ノードの埋め込みは訓練されていないメッセージパッシング関数によって計算される。 実験の結果, 貯水池モデルでは, ほぼ完全に訓練された深層モデルに対して, より優れた精度あるいは同等の精度が得られることがわかった。
  論文  参考訳（メタデータ） (2023-05-14T19:42:31Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Permutation-Invariant Variational Autoencoder for Graph-Level Representation Learning [0.0]
  グラフ構造データに対する置換不変変分オートエンコーダを提案する。 本モデルは、特定のノード順序を強制することなく、入出力グラフのノード順序を間接的に学習する。 提案モデルの有効性を様々なグラフの再構築や生成タスクで実証する。
  論文  参考訳（メタデータ） (2021-04-20T09:44:41Z)
• Uniting Heterogeneity, Inductiveness, and Efficiency for Graph Representation Learning [68.97378785686723]
  グラフニューラルネットワーク(GNN)は,グラフ上のノード表現学習の性能を大幅に向上させた。 GNNの過半数クラスは均質グラフのためにのみ設計されており、より有益な異種グラフに劣る適応性をもたらす。 本稿では,低次ノードと高次ノードの両方のエッジに付随するヘテロジニアスなノード特徴をパッケージ化する,新しい帰納的メタパスフリーメッセージパッシング方式を提案する。
  論文  参考訳（メタデータ） (2021-04-04T23:31:39Z)
• Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
  グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。 CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。 提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
  論文  参考訳（メタデータ） (2020-10-25T22:39:31Z)
• Graph Pooling with Node Proximity for Hierarchical Representation Learning [80.62181998314547]
  本稿では,ノード近接を利用したグラフプーリング手法を提案し,そのマルチホップトポロジを用いたグラフデータの階層的表現学習を改善する。 その結果,提案したグラフプーリング戦略は,公開グラフ分類ベンチマークデータセットの集合において,最先端のパフォーマンスを達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-19T13:09:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。