論文の概要: Learnable Commutative Monoids for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2212.08541v1
• Date: Fri, 16 Dec 2022 15:43:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 14:09:29.479929
• Title: Learnable Commutative Monoids for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークのための学習可能な可換モノイド
• Authors: Euan Ong and Petar Veli\v{c}kovi\'c
• Abstract要約: グラフニューラルネットワーク(GNN)は集約関数の選択に非常に敏感である。 繰り返しアグリゲータを備えたGNNは、最先端の置換不変アグリゲータと競合することを示す。 本稿では,学習可能な,可換な,連想的なバイナリ演算子を構築するためのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph neural networks (GNNs) have been shown to be highly sensitive to the choice of aggregation function. While summing over a node's neighbours can approximate any permutation-invariant function over discrete inputs, Cohen-Karlik et al. [2020] proved there are set-aggregation problems for which summing cannot generalise to unbounded inputs, proposing recurrent neural networks regularised towards permutation-invariance as a more expressive aggregator. We show that these results carry over to the graph domain: GNNs equipped with recurrent aggregators are competitive with state-of-the-art permutation-invariant aggregators, on both synthetic benchmarks and real-world problems. However, despite the benefits of recurrent aggregators, their $O(V)$ depth makes them both difficult to parallelise and harder to train on large graphs. Inspired by the observation that a well-behaved aggregator for a GNN is a commutative monoid over its latent space, we propose a framework for constructing learnable, commutative, associative binary operators. And with this, we construct an aggregator of $O(\log V)$ depth, yielding exponential improvements for both parallelism and dependency length while achieving performance competitive with recurrent aggregators. Based on our empirical observations, our proposed learnable commutative monoid (LCM) aggregator represents a favourable tradeoff between efficient and expressive aggregators.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は集約関数の選択に非常に敏感であることが示されている。 ノードの近傍の和は離散入力上の任意の置換不変関数、cohen-karlikらを近似することができる。 [2020] は,非有界入力に和が一般化できない集合集合問題が存在することを証明し,より表現力のあるアグリゲータとして置換不変性に規則化された再帰ニューラルネットワークを提案する。 繰り返しアグリゲータを備えたGNNは、合成ベンチマークと実世界の問題の両方において、最先端の置換不変アグリゲータと競合する。 しかし、繰り返しアグリゲータの利点にもかかわらず、その$O(V)$ depthは並列化が難しく、大きなグラフでトレーニングするのが難しくなる。 GNNのよく知られた集約化が、その潜在空間上の可換モノイドであることに着想を得て、学習可能で可換な連想的バイナリ演算子を構築するためのフレームワークを提案する。 これにより、並列性と依存性長の両方を指数関数的に改善し、繰り返しアグリゲータと競合する性能を実現した、$O(\log V)$のアグリゲータを構築する。 実験結果から,提案する学習可能な可換モノイド(lcm)アグリゲータは,効率的なアグリゲータと表現力のあるアグリゲータとの良好なトレードオフを示す。

関連論文リスト

• Scalable Graph Compressed Convolutions [68.85227170390864]
  ユークリッド畳み込みのための入力グラフのキャリブレーションに置換を適用する微分可能手法を提案する。 グラフキャリブレーションに基づいて,階層型グラフ表現学習のための圧縮畳み込みネットワーク(CoCN)を提案する。
  論文  参考訳（メタデータ） (2024-07-26T03:14:13Z)
• Going Deeper into Permutation-Sensitive Graph Neural Networks [6.685139672294716]
  置換群を経由した効率的な置換感応アグリゲーション機構を考案した。 我々は、我々のアプローチが2次元ワイスフェイラー・リーマン(英語版)(2-WL)グラフ同型テストよりも厳密に強力であることを証明した。
  論文  参考訳（メタデータ） (2022-05-28T08:22:10Z)
• Exploiting Redundancy: Separable Group Convolutional Networks on Lie Groups [14.029933823101084]
  群畳み込みニューラルネットワーク(G-CNN)はパラメータ効率とモデルの精度を向上させることが示されている。 本研究では,正規G-CNNによって学習された表現の性質について検討し,グループ畳み込みカーネルにおけるパラメータ冗長性を示す。 部分群とチャネル次元で分離可能な畳み込みカーネルを導入する。
  論文  参考訳（メタデータ） (2021-10-25T15:56:53Z)
• Meta-Aggregator: Learning to Aggregate for 1-bit Graph Neural Networks [127.32203532517953]
  我々は,GNNパラメータとグラフ特徴をバイナライズするバニラ1ビットフレームワークを開発した。 軽量なアーキテクチャにもかかわらず、我々はこのバニラフレームワークがグラフトポロジを区別するのに十分な差別力に悩まされていることを観察した。 この発見は、バニラ二項化GNNの表現力を向上させるためにメタアグリゲータを考案する動機となる。
  論文  参考訳（メタデータ） (2021-09-27T08:50:37Z)
• Breaking the Expressive Bottlenecks of Graph Neural Networks [26.000304641965947]
  近年, weisfeiler-lehman (wl) graph isomorphism test を用いてグラフニューラルネットワーク (gnns) の表現性の測定を行った。 本稿では,強力なアグリゲータを探索することで表現性を向上する。
  論文  参考訳（メタデータ） (2020-12-14T02:36:46Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Permutation-equivariant and Proximity-aware Graph Neural Networks with Stochastic Message Passing [88.30867628592112]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 置換等価性と近接認識性は、GNNにとって非常に望ましい2つの重要な特性である。 既存のGNNは、主にメッセージパッシング機構に基づいており、同時に2つの特性を保存できないことを示す。 ノードの近さを保つため,既存のGNNをノード表現で拡張する。
  論文  参考訳（メタデータ） (2020-09-05T16:46:56Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)
• Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
  論文  参考訳（メタデータ） (2020-06-12T07:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。