論文の概要: Graph Positional Encoding via Random Feature Propagation

• arxiv url: http://arxiv.org/abs/2303.02918v3
• Date: Wed, 19 Jul 2023 05:51:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 17:35:09.945117
• Title: Graph Positional Encoding via Random Feature Propagation
• Title（参考訳）: ランダム特徴伝播によるグラフ位置符号化
• Authors: Moshe Eliasof, Fabrizio Frasca, Beatrice Bevilacqua, Eran Treister, Gal Chechik, Haggai Maron
• Abstract要約: ノード特徴拡張スキームの2つの主要なファミリーがGNNの強化のために検討されている。 本稿では、上記の2つのアプローチのリンクを引いた、位置符号化方式の新たなファミリーを提案する。 我々は、RFPが複数のノード分類とグラフ分類ベンチマークにおいてスペクトルPEとランダムの特徴の両方を著しく上回っていることを実証的に実証した。
• 参考スコア（独自算出の注目度）: 39.84324765957645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Two main families of node feature augmentation schemes have been explored for enhancing GNNs: random features and spectral positional encoding. Surprisingly, however, there is still no clear understanding of the relation between these two augmentation schemes. Here we propose a novel family of positional encoding schemes which draws a link between the above two approaches and improves over both. The new approach, named Random Feature Propagation (RFP), is inspired by the power iteration method and its generalizations. It concatenates several intermediate steps of an iterative algorithm for computing the dominant eigenvectors of a propagation matrix, starting from random node features. Notably, these propagation steps are based on graph-dependent propagation operators that can be either predefined or learned. We explore the theoretical and empirical benefits of RFP. First, we provide theoretical justifications for using random features, for incorporating early propagation steps, and for using multiple random initializations. Then, we empirically demonstrate that RFP significantly outperforms both spectral PE and random features in multiple node classification and graph classification benchmarks.
• Abstract（参考訳）: gnnを強化するために、ノード機能拡張スキームの2つの主要なファミリーが検討されている:ランダム特徴とスペクトル位置符号化である。 しかし、この2つの拡張スキームの関係については、まだ明確には分かっていない。 本稿では,上述の2つのアプローチ間のリンクを描画し,両者を改良した位置符号化方式を提案する。 新たな手法はRandom Feature Propagation (RFP) と呼ばれ、パワーイテレーション法とその一般化にインスパイアされている。 ランダムノードの特徴から始まり、伝播行列の優性固有ベクトルを計算するための反復アルゴリズムのいくつかの中間ステップを結合する。 特に、これらの伝播ステップは、事前定義または学習が可能なグラフ依存の伝搬演算子に基づいている。 RFPの理論的および経験的メリットについて検討する。 まず,ランダムな特徴を用いたり,初期伝播ステップを組み込んだり,複数のランダム初期化を用いたりするための理論的正当性を示す。 そして、RFPが複数のノード分類およびグラフ分類ベンチマークにおいてスペクトルPEとランダムの特徴の両方を著しく上回ることを示す。

関連論文リスト

• General Graph Random Features [42.75616308187867]
  重み付き隣接行列の任意の関数の偏りのない推定のためのランダムウォークに基づく新しいアルゴリズムを提案する。 提案アルゴリズムは, ノード数に関して, グラフカーネル評価の厳密な3次スケーリングを克服し, 準四次時間的複雑性を享受する。
  論文  参考訳（メタデータ） (2023-10-07T15:47:31Z)
• Discrete Graph Auto-Encoder [52.50288418639075]
  離散グラフオートエンコーダ(DGAE)という新しいフレームワークを導入する。 まず、置換同変オートエンコーダを用いてグラフを離散潜在ノード表現の集合に変換する。 2番目のステップでは、離散潜在表現の集合をソートし、特別に設計された自己回帰モデルを用いてそれらの分布を学習する。
  論文  参考訳（メタデータ） (2023-06-13T12:40:39Z)
• Capturing Graphs with Hypo-Elliptic Diffusions [7.704064306361941]
  ランダムウォークの分布はグラフラプラシアンを用いて定義された拡散方程式に従って進化することを示す。 この結果、テンソル値のグラフ作用素が新しくなり、これは下楕円グラフラプラシアン (Laplacian) と呼ばれる。 本手法は,長距離推論を必要とするデータセット上のグラフ変換器と競合するが,エッジ数では線形にしかスケールしないことを示す。
  論文  参考訳（メタデータ） (2022-05-27T16:47:34Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Top-N: Equivariant set and graph generation without exchangeability [61.24699600833916]
  集合やグラフ上の分布の前にベクトル形状をマッピングするワンショット確率デコーダを考える。 これらの機能は、可変オートエンコーダ(VAE)、生成逆数ネットワーク(GAN)、正規化フローに統合することができる。 Top-nは、トレーニング可能な参照セットから最も関連性の高いポイントを選択することを学ぶ、決定論的で非交換可能なセット生成メカニズムである。
  論文  参考訳（メタデータ） (2021-10-05T14:51:19Z)
• SigGPDE: Scaling Sparse Gaussian Processes on Sequential Data [16.463077353773603]
  SigGPDEは,ガウス過程(GP)を逐次データに基づいて拡張可能な分散変動推論フレームワークである。 GPシグネチャカーネルの勾配は双曲偏微分方程式(PDE)の解であることを示す。 この理論的な洞察により、ELBOを最適化する効率的なバックプロパゲーションアルゴリズムを構築することができる。
  論文  参考訳（メタデータ） (2021-05-10T09:10:17Z)
• Power Normalizations in Fine-grained Image, Few-shot Image and Graph Classification [38.84294567166725]
  深層学習におけるパワーノーマリゼーション(PN)を,新たなPN層プール機能マップを用いて検討する。 2つのポピュラーなPN関数であるMaxExpとGammaの役割と意味を調べます。 自己相関/共分散行列上のSPNとグラフラプラシア行列上の熱拡散過程(HDP)が密接に関連していることを示す。
  論文  参考訳（メタデータ） (2020-12-27T17:06:06Z)
• Permutation-equivariant and Proximity-aware Graph Neural Networks with Stochastic Message Passing [88.30867628592112]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 置換等価性と近接認識性は、GNNにとって非常に望ましい2つの重要な特性である。 既存のGNNは、主にメッセージパッシング機構に基づいており、同時に2つの特性を保存できないことを示す。 ノードの近さを保つため,既存のGNNをノード表現で拡張する。
  論文  参考訳（メタデータ） (2020-09-05T16:46:56Z)
• Neural Enhanced Belief Propagation on Factor Graphs [85.61562052281688]
  グラフィカルモデルは局所依存確率変数の構造的表現である。 最初にグラフニューラルネットワークを拡張してグラフを分解する(FG-GNN)。 そこで我々は,FG-GNNを連立して動作させるハイブリッドモデルを提案する。
  論文  参考訳（メタデータ） (2020-03-04T11:03:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。