論文の概要: Fisher Information Embedding for Node and Graph Learning

• arxiv url: http://arxiv.org/abs/2305.07580v1
• Date: Fri, 12 May 2023 16:15:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-15 12:21:26.072556
• Title: Fisher Information Embedding for Node and Graph Learning
• Title（参考訳）: ノードとグラフ学習のためのフィッシャー情報埋め込み
• Authors: Dexiong Chen, Paolo Pellizzoni, Karsten Borgwardt
• Abstract要約: 本稿では,グラフのための新しい注目型ノード埋め込みフレームワークを提案する。 ガウス混合の多様体によるノード埋め込みを明示的に計算することにより、この手法は近傍アグリゲーションに対する新しい注意機構をもたらす。 埋め込みの創発性と表現性に関する理論的知見を提供し、注意に基づくGNNのより深い理解に寄与する。
• 参考スコア（独自算出の注目度）: 5.263910852465186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention-based graph neural networks (GNNs), such as graph attention networks (GATs), have become popular neural architectures for processing graph-structured data and learning node embeddings. Despite their empirical success, these models rely on labeled data and the theoretical properties of these models have yet to be fully understood. In this work, we propose a novel attention-based node embedding framework for graphs. Our framework builds upon a hierarchical kernel for multisets of subgraphs around nodes (e.g. neighborhoods) and each kernel leverages the geometry of a smooth statistical manifold to compare pairs of multisets, by "projecting" the multisets onto the manifold. By explicitly computing node embeddings with a manifold of Gaussian mixtures, our method leads to a new attention mechanism for neighborhood aggregation. We provide theoretical insights into genralizability and expressivity of our embeddings, contributing to a deeper understanding of attention-based GNNs. We propose efficient unsupervised and supervised methods for learning the embeddings, with the unsupervised method not requiring any labeled data. Through experiments on several node classification benchmarks, we demonstrate that our proposed method outperforms existing attention-based graph models like GATs. Our code is available at https://github.com/BorgwardtLab/fisher_information_embedding.
• Abstract（参考訳）: グラフアテンションネットワーク(GAT)のような注意に基づくグラフニューラルネットワーク(GNN)は、グラフ構造化データや学習ノードの埋め込みを処理するニューラルネットワークとして人気がある。 実験的な成功にもかかわらず、これらのモデルはラベル付きデータに依存しており、これらのモデルの理論的性質はまだ完全には理解されていない。 本稿では,グラフに対する注意に基づく新しいノード埋め込みフレームワークを提案する。 我々のフレームワークはノード周辺の部分グラフの多重集合(例えば近傍)のための階層的カーネル上に構築され、各カーネルは滑らかな統計多様体の幾何学を利用して多重集合のペアを比較する。 ノード埋め込みをガウス混合多様体で明示的に計算することにより,近傍集合に対する新しい注意の機構が導かれる。 埋め込みの創発性と表現性に関する理論的知見を提供し、注意に基づくGNNのより深い理解に寄与する。 ラベル付きデータを必要としない非教師付き手法を用いて,効率的な非教師付き・教師付き手法を提案する。 いくつかのノード分類ベンチマークの実験を通して,提案手法がGATなどの既存の注目グラフモデルより優れていることを示す。 私たちのコードはhttps://github.com/borgwardtlab/fisher_information_embeddingで利用可能です。

関連論文リスト

• GNN-LoFI: a Novel Graph Neural Network through Localized Feature-based Histogram Intersection [51.608147732998994]
  グラフニューラルネットワークは、グラフベースの機械学習の選択フレームワークになりつつある。 本稿では,古典的メッセージパッシングに代えて,ノード特徴の局所分布を解析するグラフニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-01-17T13:04:23Z)
• Supervised Attention Using Homophily in Graph Neural Networks [26.77596449192451]
  そこで本研究では,クラスラベルを共有するノード間の注目度を高めるための新しい手法を提案する。 提案手法をいくつかのノード分類データセット上で評価し,標準ベースラインモデルよりも高い性能を示す。
  論文  参考訳（メタデータ） (2023-07-11T12:43:23Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• SHGNN: Structure-Aware Heterogeneous Graph Neural Network [77.78459918119536]
  本稿では、上記の制約に対処する構造対応不均一グラフニューラルネットワーク(SHGNN)を提案する。 まず,メタパス内の中間ノードの局所構造情報を取得するために,特徴伝搬モジュールを利用する。 次に、ツリーアテンションアグリゲータを使用して、グラフ構造情報をメタパス上のアグリゲーションモジュールに組み込む。 最後に、メタパスアグリゲータを利用して、異なるメタパスから集約された情報を融合する。
  論文  参考訳（メタデータ） (2021-12-12T14:18:18Z)
• A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
  本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。 AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。 本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-22T07:05:48Z)
• Node2Seq: Towards Trainable Convolutions in Graph Neural Networks [59.378148590027735]
  今回提案するグラフネットワーク層であるNode2Seqは,隣接ノードの重みを明示的に調整可能なノード埋め込みを学習する。 対象ノードに対して,当手法は注意メカニズムを介して隣接ノードをソートし,さらに1D畳み込みニューラルネットワーク(CNN)を用いて情報集約のための明示的な重み付けを行う。 また, 特徴学習のための非局所的情報を, 注意スコアに基づいて適応的に組み込むことを提案する。
  論文  参考訳（メタデータ） (2021-01-06T03:05:37Z)
• CAGNN: Cluster-Aware Graph Neural Networks for Unsupervised Graph Representation Learning [19.432449825536423]
  教師なしグラフ表現学習は、教師なしの低次元ノード埋め込みを学習することを目的としている。 本稿では、自己教師付き手法を用いた教師なしグラフ表現学習のための新しいクラスタ対応グラフニューラルネットワーク(CAGNN)モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-03T13:57:18Z)
• Representation Learning of Graphs Using Graph Convolutional Multilayer Networks Based on Motifs [17.823543937167848]
  mGCMNはノードの特徴情報とグラフの高階局所構造を利用する新しいフレームワークである。 グラフニューラルネットワークの学習効率を大幅に改善し、新たな学習モードの確立を促進する。
  論文  参考訳（メタデータ） (2020-07-31T04:18:20Z)
• Graph Neural Networks with Composite Kernels [60.81504431653264]
  カーネル重み付けの観点からノード集約を再解釈する。 本稿では,アグリゲーション方式における特徴類似性を考慮したフレームワークを提案する。 特徴空間における特徴類似性をエンコードするために,元の隣り合うカーネルと学習可能なカーネルの合成として特徴集約を提案する。
  論文  参考訳（メタデータ） (2020-05-16T04:44:29Z)
• Convolutional Kernel Networks for Graph-Structured Data [37.13712126432493]
  我々は,多層グラフカーネルのファミリーを導入し,グラフ畳み込みニューラルネットワークとカーネルメソッドの新たなリンクを確立する。 提案手法は,グラフをカーネル特徴写像の列として表現することにより,畳み込みカーネルネットワークをグラフ構造データに一般化する。 我々のモデルは、大規模データに対してエンドツーエンドでトレーニングすることもでき、新しいタイプのグラフ畳み込みニューラルネットワークをもたらす。
  論文  参考訳（メタデータ） (2020-03-11T09:44:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。