論文の概要: Neural Snowflakes: Universal Latent Graph Inference via Trainable Latent
Geometries
- arxiv url: http://arxiv.org/abs/2310.15003v1
- Date: Mon, 23 Oct 2023 14:57:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 19:26:58.692392
- Title: Neural Snowflakes: Universal Latent Graph Inference via Trainable Latent
Geometries
- Title(参考訳): ニューラル・スノーフレーク: トレーニング可能な潜在ジオメトリによる普遍潜在グラフ推論
- Authors: Haitz S\'aez de Oc\'ariz Borde, Anastasis Kratsios
- Abstract要約: トレーニング可能なディープラーニングアーキテクチャであるニューラルスノーフレークを導入し、$mathbbRd$でフラクタル的なメトリクスを適応的に実装する。
ニューラル・スノーフレーク・モデルは,最先端の潜伏グラフ推論モデルと一致するか,あるいは上回る予測性能を達成できることを示す。
- 参考スコア(独自算出の注目度): 9.7902367664742
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The inductive bias of a graph neural network (GNN) is largely encoded in its
specified graph. Latent graph inference relies on latent geometric
representations to dynamically rewire or infer a GNN's graph to maximize the
GNN's predictive downstream performance, but it lacks solid theoretical
foundations in terms of embedding-based representation guarantees. This paper
addresses this issue by introducing a trainable deep learning architecture,
coined neural snowflake, that can adaptively implement fractal-like metrics on
$\mathbb{R}^d$. We prove that any given finite weights graph can be
isometrically embedded by a standard MLP encoder. Furthermore, when the latent
graph can be represented in the feature space of a sufficiently regular kernel,
we show that the combined neural snowflake and MLP encoder do not succumb to
the curse of dimensionality by using only a low-degree polynomial number of
parameters in the number of nodes. This implementation enables a
low-dimensional isometric embedding of the latent graph. We conduct synthetic
experiments to demonstrate the superior metric learning capabilities of neural
snowflakes when compared to more familiar spaces like Euclidean space.
Additionally, we carry out latent graph inference experiments on graph
benchmarks. Consistently, the neural snowflake model achieves predictive
performance that either matches or surpasses that of the state-of-the-art
latent graph inference models. Importantly, this performance improvement is
achieved without requiring random search for optimal latent geometry. Instead,
the neural snowflake model achieves this enhancement in a differentiable
manner.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)の帰納バイアスは、その指定されたグラフに大きくエンコードされている。
潜在グラフ推論は、GNNの予測下流性能を最大化するために、GNNのグラフを動的にリワイヤしたり、推論するために潜時幾何学的表現に依存するが、埋め込みベースの表現保証の観点からは、しっかりとした理論的基盤が欠如している。
本稿では,学習可能なディープラーニングアーキテクチャであるneural snowflakeを導入することで,フラクタル的なメトリクスを$\mathbb{r}^d$上で適応的に実装する。
任意の有限重みグラフが標準mlpエンコーダによって等尺的に埋め込まれることを証明する。
さらに、潜在グラフが十分に正規なカーネルの特徴空間で表現できる場合、ノード数の低次多項式数のみを用いることで、ニューラルスノーフレークとMLPエンコーダの組み合わせは次元の呪いに屈しないことを示す。
この実装により、潜在グラフの低次元等尺埋め込みが可能となる。
我々は、ユークリッド空間のようなより親しみやすい空間と比較して、ニューラルスノーフレークの優れたメトリック学習能力を示すために、合成実験を行う。
さらに,グラフベンチマークにおける潜在グラフ推論実験も実施する。
一貫して、ニューラルスノーフレークモデルは、最先端の潜在グラフ推論モデルと一致するか、または上回る予測性能を達成する。
重要なことに、この性能改善は最適潜時幾何学をランダムに探索することなく達成される。
代わりに、ニューラルスノーフレークモデルは、この拡張を微分可能な方法で達成する。
関連論文リスト
- Graph neural network outputs are almost surely asymptotically constant [8.01812577223632]
グラフニューラルネットワーク(GNN)は、グラフ上のさまざまな学習タスクのための主要なアーキテクチャである。
我々は、GNN確率分類器の予測がより大きなグラフに適用されるにつれてどのように進化するかを考察する。
出力は定数関数に収束し、これらの分類器が一様に表現できる上限となることを示す。
論文 参考訳(メタデータ) (2024-03-06T17:40:26Z) - Implicit Graph Neural Diffusion Networks: Convergence, Generalization,
and Over-Smoothing [7.984586585987328]
Inlicit Graph Neural Networks (GNN)は、グラフ学習問題に対処する上で大きな成功を収めた。
パラメータ化グラフラプラシアン演算子に基づく暗黙グラフ拡散層を設計するための幾何学的枠組みを提案する。
ディリクレエネルギー最小化問題の固定点方程式として, 暗黙のGNN層がどう見えるかを示す。
論文 参考訳(メタデータ) (2023-08-07T05:22:33Z) - GRAN is superior to GraphRNN: node orderings, kernel- and graph
embeddings-based metrics for graph generators [0.6816499294108261]
本研究では,グラフ不変量の分布に関するカーネルベースのメトリクスと,グラフ埋め込み空間における多様体ベースのメトリクスとカーネルベースのメトリクスについて検討する。
グラフの2つのよく知られた生成モデルであるGraphRNNとGRANを比較し、ノード順序の影響を明らかにする。
論文 参考訳(メタデータ) (2023-07-13T12:07:39Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳(メタデータ) (2023-06-14T09:21:15Z) - Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。
我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
論文 参考訳(メタデータ) (2022-10-27T16:00:45Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳(メタデータ) (2022-03-03T09:53:53Z) - Adaptive Kernel Graph Neural Network [21.863238974404474]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。
本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。
AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。
評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
論文 参考訳(メタデータ) (2021-12-08T20:23:58Z) - Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。
これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-07T15:05:59Z) - Distance Encoding: Design Provably More Powerful Neural Networks for
Graph Representation Learning [63.97983530843762]
グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。
GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。
より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。
本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
論文 参考訳(メタデータ) (2020-08-31T23:15:40Z) - Optimal Transport Graph Neural Networks [31.191844909335963]
現在のグラフニューラルネットワーク(GNN)アーキテクチャは、集約グラフ表現に平均または総和ノードを埋め込む。
本稿では,パラメトリックプロトタイプを用いたグラフ埋め込み計算モデルOT-GNNを紹介する。
論文 参考訳(メタデータ) (2020-06-08T14:57:39Z) - Block-Approximated Exponential Random Graphs [77.4792558024487]
指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。
本稿では,非自明なERGに対する近似フレームワークを提案する。
我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
論文 参考訳(メタデータ) (2020-02-14T11:42:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。