論文の概要: Efficient Relation-aware Neighborhood Aggregation in Graph Neural
Networks via Tensor Decomposition
- arxiv url: http://arxiv.org/abs/2212.05581v1
- Date: Sun, 11 Dec 2022 19:07:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 17:34:26.633456
- Title: Efficient Relation-aware Neighborhood Aggregation in Graph Neural
Networks via Tensor Decomposition
- Title（参考訳）: テンソル分解によるグラフニューラルネットワークの効率的な関係認識近傍集約
- Authors: Peyman Baghershahi, Reshad Hosseini, Hadi Moradi
- Abstract要約: 本稿では,強力なテンソル分解法を適応的に含むスケーラブルな汎用知識グラフエンコーダを提案する。
FB15-237のRCCN性能は0.42%向上し, 埋込み寸法は大幅に低くなった。
- 参考スコア（独自算出の注目度）: 6.596002578395149
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Numerous models have tried to effectively embed knowledge graphs in low
dimensions. Among the state-of-the-art methods, Graph Neural Network (GNN)
models provide structure-aware representations of knowledge graphs. However,
they often utilize the information of relations and their interactions with
entities inefficiently. Moreover, most state-of-the-art knowledge graph
embedding models suffer from scalability issues because of assigning
high-dimensional embeddings to entities and relations. To address the above
limitations, we propose a scalable general knowledge graph encoder that
adaptively involves a powerful tensor decomposition method in the aggregation
function of RGCN, a well-known relational GNN model. Specifically, the
parameters of a low-rank core projection tensor, used to transform neighborhood
entities in the encoder, are shared across relations to benefit from multi-task
learning and incorporate relations information effectively. Besides, we propose
a low-rank estimation of the core tensor using CP decomposition to compress the
model, which is also applicable, as a regularization method, to other similar
linear models. We evaluated our model on knowledge graph completion as a common
downstream task. We train our model for using a new loss function based on
contrastive learning, which relieves the training limitation of the 1-N method
on huge graphs. We improved RGCN performance on FB15-237 by 0.42% with
considerably lower dimensionality of embeddings.
- Abstract（参考訳）: 多数のモデルが知識グラフを低次元に効果的に埋め込もうとしている。
最先端手法のうち、グラフニューラルネットワーク(gnn)モデルは知識グラフの構造認識表現を提供する。
しかし、それらはしばしば、関係の情報とエンティティとの相互作用を非効率に利用する。
さらに、ほとんどの最先端知識グラフ埋め込みモデルは、エンティティや関係に高次元の埋め込みを割り当てるため、スケーラビリティの問題に悩まされる。
上記の制限に対処するため、よく知られたリレーショナルGNNモデルであるRCCNの集約関数において、強力なテンソル分解法を適応的に含むスケーラブルな汎用知識グラフエンコーダを提案する。
具体的には、エンコーダ内の近傍エンティティを変換するために使用される低ランクコア投影テンソルのパラメータを、マルチタスク学習の恩恵を受けるために相互に共有し、関係情報を効果的に組み込む。
さらに、CP分解を用いたコアテンソルの低ランク推定を行い、正規化法として他の類似線形モデルにも適用可能なモデルを圧縮する。
ダウンストリームタスクとして,知識グラフ補完に関するモデルを評価した。
本研究では,大規模グラフ上の1-n法の学習制限を緩和するコントラスト学習に基づく新しい損失関数の学習モデルを提案する。
fb15-237のrscn性能を0.42%改善し,埋め込みの次元をかなり低くした。
関連論文リスト
- Graph as a feature: improving node classification with non-neural graph-aware logistic regression [2.952177779219163]
Graph-aware Logistic Regression (GLR) はノード分類タスク用に設計された非神経モデルである。
GNNにアクセスできる情報のごく一部しか使わない従来のグラフアルゴリズムとは異なり、提案モデルではノードの特徴とエンティティ間の関係を同時に活用する。
論文 参考訳（メタデータ） (2024-11-19T08:32:14Z) - Deep Contrastive Graph Learning with Clustering-Oriented Guidance [61.103996105756394]
グラフ畳み込みネットワーク(GCN)は、グラフベースのクラスタリングを改善する上で大きな可能性を秘めている。
モデルはGCNを適用するために初期グラフを事前に推定する。
一般的なデータクラスタリングには,Deep Contrastive Graph Learning (DCGL)モデルが提案されている。
論文 参考訳（メタデータ） (2024-02-25T07:03:37Z) - DGNN: Decoupled Graph Neural Networks with Structural Consistency
between Attribute and Graph Embedding Representations [62.04558318166396]
グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。
ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。
複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
論文 参考訳（メタデータ） (2024-01-28T06:43:13Z) - Tensor-view Topological Graph Neural Network [16.433092191206534]
グラフニューラルネットワーク(GNN)は最近、グラフ学習において注目を集めている。
既存のGNNは、各ノード周辺の非常に限られた地区からのローカル情報のみを使用する。
本稿では,単純かつ効果的な深層学習のクラスであるTopological Graph Neural Network (TTG-NN)を提案する。
実データ実験により,提案したTTG-NNは,グラフベンチマークにおいて20の最先端手法より優れていた。
論文 参考訳（メタデータ） (2024-01-22T14:55:01Z) - Redundancy-Free Self-Supervised Relational Learning for Graph Clustering [13.176413653235311]
冗長フリーグラフクラスタリング(R$2$FGC)という,自己教師付き深層グラフクラスタリング手法を提案する。
オートエンコーダとグラフオートエンコーダに基づいて,グローバルビューとローカルビューの両方から属性レベルと構造レベルの関係情報を抽出する。
この実験は,R$2$FGCが最先端のベースラインよりも優れていることを示すために,広く使用されているベンチマークデータセット上で実施されている。
論文 参考訳（メタデータ） (2023-09-09T06:18:50Z) - Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。
固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。
GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
論文 参考訳（メタデータ） (2022-05-19T14:08:15Z) - Bridging Graph Neural Networks and Statistical Relational Learning:
Relational One-Class GCN [0.0]
リレーショナルデータに対するグラフ畳み込みネットワーク(GCN)の学習の問題を検討する。
本手法は,関係密度推定手法を用いて二次グラフを構築する。
論文 参考訳（メタデータ） (2021-02-13T21:34:44Z) - Geometrically Principled Connections in Graph Neural Networks [66.51286736506658]
我々は、幾何学的深層学習の新興分野におけるイノベーションの原動力は、幾何が依然として主要な推進力であるべきだと論じている。
グラフニューラルネットワークとコンピュータグラフィックスとデータ近似モデルとの関係:放射基底関数(RBF)
完全連結層とグラフ畳み込み演算子を組み合わせた新しいビルディングブロックであるアフィンスキップ接続を導入する。
論文 参考訳（メタデータ） (2020-04-06T13:25:46Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳（メタデータ） (2020-03-15T02:33:21Z) - Graph Representation Learning via Graphical Mutual Information
Maximization [86.32278001019854]
本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。
我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
論文 参考訳（メタデータ） (2020-02-04T08:33:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。