論文の概要: Neural Snowflakes: Universal Latent Graph Inference via Trainable Latent
Geometries
- arxiv url: http://arxiv.org/abs/2310.15003v1
- Date: Mon, 23 Oct 2023 14:57:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 19:26:58.692392
- Title: Neural Snowflakes: Universal Latent Graph Inference via Trainable Latent
Geometries
- Title（参考訳）: ニューラル・スノーフレーク: トレーニング可能な潜在ジオメトリによる普遍潜在グラフ推論
- Authors: Haitz S\'aez de Oc\'ariz Borde, Anastasis Kratsios
- Abstract要約: トレーニング可能なディープラーニングアーキテクチャであるニューラルスノーフレークを導入し、$mathbbRd$でフラクタル的なメトリクスを適応的に実装する。
ニューラル・スノーフレーク・モデルは,最先端の潜伏グラフ推論モデルと一致するか,あるいは上回る予測性能を達成できることを示す。
- 参考スコア（独自算出の注目度）: 9.7902367664742
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The inductive bias of a graph neural network (GNN) is largely encoded in its
specified graph. Latent graph inference relies on latent geometric
representations to dynamically rewire or infer a GNN's graph to maximize the
GNN's predictive downstream performance, but it lacks solid theoretical
foundations in terms of embedding-based representation guarantees. This paper
addresses this issue by introducing a trainable deep learning architecture,
coined neural snowflake, that can adaptively implement fractal-like metrics on
$\mathbb{R}^d$. We prove that any given finite weights graph can be
isometrically embedded by a standard MLP encoder. Furthermore, when the latent
graph can be represented in the feature space of a sufficiently regular kernel,
we show that the combined neural snowflake and MLP encoder do not succumb to
the curse of dimensionality by using only a low-degree polynomial number of
parameters in the number of nodes. This implementation enables a
low-dimensional isometric embedding of the latent graph. We conduct synthetic
experiments to demonstrate the superior metric learning capabilities of neural
snowflakes when compared to more familiar spaces like Euclidean space.
Additionally, we carry out latent graph inference experiments on graph
benchmarks. Consistently, the neural snowflake model achieves predictive
performance that either matches or surpasses that of the state-of-the-art
latent graph inference models. Importantly, this performance improvement is
achieved without requiring random search for optimal latent geometry. Instead,
the neural snowflake model achieves this enhancement in a differentiable
manner.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)の帰納バイアスは、その指定されたグラフに大きくエンコードされている。
潜在グラフ推論は、GNNの予測下流性能を最大化するために、GNNのグラフを動的にリワイヤしたり、推論するために潜時幾何学的表現に依存するが、埋め込みベースの表現保証の観点からは、しっかりとした理論的基盤が欠如している。
本稿では,学習可能なディープラーニングアーキテクチャであるneural snowflakeを導入することで,フラクタル的なメトリクスを$\mathbb{r}^d$上で適応的に実装する。
任意の有限重みグラフが標準mlpエンコーダによって等尺的に埋め込まれることを証明する。
さらに、潜在グラフが十分に正規なカーネルの特徴空間で表現できる場合、ノード数の低次多項式数のみを用いることで、ニューラルスノーフレークとMLPエンコーダの組み合わせは次元の呪いに屈しないことを示す。
この実装により、潜在グラフの低次元等尺埋め込みが可能となる。
我々は、ユークリッド空間のようなより親しみやすい空間と比較して、ニューラルスノーフレークの優れたメトリック学習能力を示すために、合成実験を行う。
さらに,グラフベンチマークにおける潜在グラフ推論実験も実施する。
一貫して、ニューラルスノーフレークモデルは、最先端の潜在グラフ推論モデルと一致するか、または上回る予測性能を達成する。
重要なことに、この性能改善は最適潜時幾何学をランダムに探索することなく達成される。
代わりに、ニューラルスノーフレークモデルは、この拡張を微分可能な方法で達成する。
関連論文リスト
- Graph neural networks and non-commuting operators [4.912318087940015]
我々は,グラフトン・タプルニューラルネットワークの極限理論を開発し,それを普遍的な伝達可能性定理の証明に利用する。
我々の理論的結果は、GNNのよく知られた移動可能性定理を、複数の同時グラフの場合にまで拡張する。
得られたモデルの安定性を確実に実施する訓練手順を導出する。
論文 参考訳（メタデータ） (2024-11-06T21:17:14Z) - Generalization of Geometric Graph Neural Networks [84.01980526069075]
幾何グラフニューラルネットワーク(GNN)の一般化能力について検討する。
我々は,このGNNの最適経験リスクと最適統計リスクとの一般化ギャップを証明した。
最も重要な観察は、前の結果のようにグラフのサイズに制限されるのではなく、1つの大きなグラフで一般化能力を実現することができることである。
論文 参考訳（メタデータ） (2024-09-08T18:55:57Z) - Sketch-GNN: Scalable Graph Neural Networks with Sublinear Training Complexity [30.2972965458946]
グラフネットワーク(GNN)はノード分類などのグラフ学習問題に広く適用されている。
GNNの基盤となるグラフをより大きなサイズにスケールアップする場合、完全なグラフをトレーニングするか、あるいは完全なグラフの隣接とノードのメモリへの埋め込みを維持せざるを得ません。
本稿では,学習時間と記憶量がグラフサイズに比例して増加するスケッチベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-21T18:22:11Z) - GRAN is superior to GraphRNN: node orderings, kernel- and graph
embeddings-based metrics for graph generators [0.6816499294108261]
本研究では,グラフ不変量の分布に関するカーネルベースのメトリクスと,グラフ埋め込み空間における多様体ベースのメトリクスとカーネルベースのメトリクスについて検討する。
グラフの2つのよく知られた生成モデルであるGraphRNNとGRANを比較し、ノード順序の影響を明らかにする。
論文 参考訳（メタデータ） (2023-07-13T12:07:39Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳（メタデータ） (2023-06-14T09:21:15Z) - Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。
我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
論文 参考訳（メタデータ） (2022-10-27T16:00:45Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - Graph Kernel Neural Networks [53.91024360329517]
本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。
これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。
私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
論文 参考訳（メタデータ） (2021-12-14T14:48:08Z) - Adaptive Kernel Graph Neural Network [21.863238974404474]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。
本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。
AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。
評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
論文 参考訳（メタデータ） (2021-12-08T20:23:58Z) - Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。
これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-07T15:05:59Z) - Optimal Transport Graph Neural Networks [31.191844909335963]
現在のグラフニューラルネットワーク(GNN)アーキテクチャは、集約グラフ表現に平均または総和ノードを埋め込む。
本稿では,パラメトリックプロトタイプを用いたグラフ埋め込み計算モデルOT-GNNを紹介する。
論文 参考訳（メタデータ） (2020-06-08T14:57:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。