論文の概要: Permute Me Softly: Learning Soft Permutations for Graph Representations

• arxiv url: http://arxiv.org/abs/2110.01872v1
• Date: Tue, 5 Oct 2021 08:20:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-06 21:28:34.665950
• Title: Permute Me Softly: Learning Soft Permutations for Graph Representations
• Title（参考訳）: Permute Me Softly:グラフ表現のためのソフトな置換学習
• Authors: Giannis Nikolentzos and George Dasoulas and Michalis Vazirgiannis
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフを用いた機械学習の主流パラダイムとして浮上している。 MPNNの研究は、主にメッセージパッシングニューラルネットワーク(MPNN)のファミリーに焦点を当てている。
• 参考スコア（独自算出の注目度）: 26.581982471005674
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph neural networks (GNNs) have recently emerged as a dominant paradigm for machine learning with graphs. Research on GNNs has mainly focused on the family of message passing neural networks (MPNNs). Similar to the Weisfeiler-Leman (WL) test of isomorphism, these models follow an iterative neighborhood aggregation procedure to update vertex representations, and they next compute graph representations by aggregating the representations of the vertices. Although very successful, MPNNs have been studied intensively in the past few years. Thus, there is a need for novel architectures which will allow research in the field to break away from MPNNs. In this paper, we propose a new graph neural network model, so-called $\pi$-GNN which learns a "soft" permutation (i.e., doubly stochastic) matrix for each graph, and thus projects all graphs into a common vector space. The learned matrices impose a "soft" ordering on the vertices of the input graphs, and based on this ordering, the adjacency matrices are mapped into vectors. These vectors can be fed into fully-connected or convolutional layers to deal with supervised learning tasks. In case of large graphs, to make the model more efficient in terms of running time and memory, we further relax the doubly stochastic matrices to row stochastic matrices. We empirically evaluate the model on graph classification and graph regression datasets and show that it achieves performance competitive with state-of-the-art models.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は最近、グラフを用いた機械学習の主流パラダイムとして登場した。 GNNの研究は主に、メッセージパッシングニューラルネットワーク(MPNN)のファミリーに焦点を当てている。 アイソモルフィズムのWeisfeiler-Leman(WL)テストと同様に、これらのモデルは頂点表現を更新するための反復的な近傍集約手順に従い、頂点表現を集約することで次の計算グラフ表現を演算する。 非常に成功したものの、MPNNはここ数年で集中的に研究されている。 したがって、MPNNから離れた分野の研究を可能にする新しいアーキテクチャが必要である。 本稿では、各グラフに対する「ソフトな」置換行列(すなわち二重確率行列)を学習し、すべてのグラフを共通のベクトル空間に投影する、いわゆる$\pi$-gnnと呼ばれる新しいグラフニューラルネットワークモデルを提案する。 学習された行列は入力グラフの頂点に「ソフト」順序を課し、この順序に基づいて隣接行列はベクトルにマッピングされる。 これらのベクトルは、教師付き学習タスクに対処するために、完全連結層または畳み込み層に供給することができる。 大きなグラフの場合、実行時間とメモリの観点からモデルをより効率的にするために、さらに二重確率行列を行確率行列に緩和する。 グラフ分類とグラフ回帰データセットのモデルを実証的に評価し,最先端モデルと競合する性能を示す。

関連論文リスト

• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Weisfeiler and Leman go Hyperbolic: Learning Distance Preserving Node Representations [26.77596449192451]
  グラフニューラルネットワーク(GNN)は、グラフ上の機械学習問題を解決するための有望なツールとして登場した。 本論文では,Weisfeiler-Leman(WL)アルゴリズムによって生成される階層に基づいて,ノード間の距離関数を定義する。 本稿では,ノード間の距離を保存する表現を学習するモデルを提案する。
  論文  参考訳（メタデータ） (2022-11-04T15:03:41Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Graph-level Neural Networks: Current Progress and Future Directions [61.08696673768116]
  グラフレベルのニューラルネットワーク(GLNN、ディープラーニングベースのグラフレベルの学習法)は、高次元データのモデリングにおいて優れているため、魅力的である。 本稿では,深層ニューラルネットワーク,グラフニューラルネットワーク,グラフプール上でのGLNNを網羅する系統分類法を提案する。
  論文  参考訳（メタデータ） (2022-05-31T06:16:55Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Neighbor2Seq: Deep Learning on Massive Graphs by Transforming Neighbors to Sequences [55.329402218608365]
  本研究では,各ノードの階層的近傍をシーケンスに変換するためにNeighbor2Seqを提案する。 1100万以上のノードと160億のエッジを持つ大規模グラフ上で,本手法の評価を行った。 その結果,提案手法は大規模グラフに対してスケーラブルであり,大規模グラフと中規模グラフにまたがる優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-02-07T16:38:36Z)
• Graph Convolutional Networks with Dual Message Passing for Subgraph Isomorphism Counting and Matching [42.55928561326902]
  グラフニューラルネットワーク(GNN)とメッセージパッシングニューラルネットワーク(MPNN)は、サブグラフ構造に対して表現可能であることが証明されている。 サブストラクチャ表現学習を強化するために,デュアルメッセージパッシングニューラルネットワーク(DMPNN)を提案する。
  論文  参考訳（メタデータ） (2021-12-16T10:23:48Z)
• Graph Kernel Neural Networks [53.91024360329517]
  本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。 これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。 私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
  論文  参考訳（メタデータ） (2021-12-14T14:48:08Z)
• Let's Agree to Degree: Comparing Graph Convolutional Networks in the Message-Passing Framework [5.835421173589977]
  我々は、グラフ上に定義されたニューラルネットワークをメッセージパッシングニューラルネットワーク(MPNN)としてキャストした。 匿名MPNNと学位対応MPNNの2種類のMPNNについて検討する。 Wesfeiler-Lehman (WL)アルゴリズムの差分パワーの観点から,MPNNの差分パワーの下位値と上位値を求める。
  論文  参考訳（メタデータ） (2020-04-06T12:14:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。