論文の概要: Efficient Relation-aware Neighborhood Aggregation in Graph Neural
Networks via Tensor Decomposition
- arxiv url: http://arxiv.org/abs/2212.05581v1
- Date: Sun, 11 Dec 2022 19:07:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 17:34:26.633456
- Title: Efficient Relation-aware Neighborhood Aggregation in Graph Neural
Networks via Tensor Decomposition
- Title（参考訳）: テンソル分解によるグラフニューラルネットワークの効率的な関係認識近傍集約
- Authors: Peyman Baghershahi, Reshad Hosseini, Hadi Moradi
- Abstract要約: 本稿では,強力なテンソル分解法を適応的に含むスケーラブルな汎用知識グラフエンコーダを提案する。
FB15-237のRCCN性能は0.42%向上し, 埋込み寸法は大幅に低くなった。
- 参考スコア（独自算出の注目度）: 6.596002578395149
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Numerous models have tried to effectively embed knowledge graphs in low
dimensions. Among the state-of-the-art methods, Graph Neural Network (GNN)
models provide structure-aware representations of knowledge graphs. However,
they often utilize the information of relations and their interactions with
entities inefficiently. Moreover, most state-of-the-art knowledge graph
embedding models suffer from scalability issues because of assigning
high-dimensional embeddings to entities and relations. To address the above
limitations, we propose a scalable general knowledge graph encoder that
adaptively involves a powerful tensor decomposition method in the aggregation
function of RGCN, a well-known relational GNN model. Specifically, the
parameters of a low-rank core projection tensor, used to transform neighborhood
entities in the encoder, are shared across relations to benefit from multi-task
learning and incorporate relations information effectively. Besides, we propose
a low-rank estimation of the core tensor using CP decomposition to compress the
model, which is also applicable, as a regularization method, to other similar
linear models. We evaluated our model on knowledge graph completion as a common
downstream task. We train our model for using a new loss function based on
contrastive learning, which relieves the training limitation of the 1-N method
on huge graphs. We improved RGCN performance on FB15-237 by 0.42% with
considerably lower dimensionality of embeddings.
- Abstract（参考訳）: 多数のモデルが知識グラフを低次元に効果的に埋め込もうとしている。
最先端手法のうち、グラフニューラルネットワーク(gnn)モデルは知識グラフの構造認識表現を提供する。
しかし、それらはしばしば、関係の情報とエンティティとの相互作用を非効率に利用する。
さらに、ほとんどの最先端知識グラフ埋め込みモデルは、エンティティや関係に高次元の埋め込みを割り当てるため、スケーラビリティの問題に悩まされる。
上記の制限に対処するため、よく知られたリレーショナルGNNモデルであるRCCNの集約関数において、強力なテンソル分解法を適応的に含むスケーラブルな汎用知識グラフエンコーダを提案する。
具体的には、エンコーダ内の近傍エンティティを変換するために使用される低ランクコア投影テンソルのパラメータを、マルチタスク学習の恩恵を受けるために相互に共有し、関係情報を効果的に組み込む。
さらに、CP分解を用いたコアテンソルの低ランク推定を行い、正規化法として他の類似線形モデルにも適用可能なモデルを圧縮する。
ダウンストリームタスクとして,知識グラフ補完に関するモデルを評価した。
本研究では,大規模グラフ上の1-n法の学習制限を緩和するコントラスト学習に基づく新しい損失関数の学習モデルを提案する。
fb15-237のrscn性能を0.42%改善し,埋め込みの次元をかなり低くした。
関連論文リスト
- Neighborhood Convolutional Network: A New Paradigm of Graph Neural
Networks for Node Classification [12.062421384484812]
グラフ畳み込みネットワーク(GCN)は、各畳み込み層における近傍の集約と特徴変換を分離する。
本稿では,周辺畳み込みネットワーク(NCN)と呼ばれるGCNの新しいパラダイムを提案する。
このようにして、モデルは、近隣情報を集約するための分離GCNの利点を継承すると同時に、より強力な特徴学習モジュールを開発することができる。
論文 参考訳（メタデータ） (2022-11-15T02:02:51Z) - Relation Embedding based Graph Neural Networks for Handling
Heterogeneous Graph [58.99478502486377]
我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。
具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
論文 参考訳（メタデータ） (2022-09-23T05:24:18Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳（メタデータ） (2022-09-20T14:41:37Z) - Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。
固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。
GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
論文 参考訳（メタデータ） (2022-05-19T14:08:15Z) - Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。
最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。
本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
論文 参考訳（メタデータ） (2020-11-19T06:03:35Z) - Implicit Graph Neural Networks [46.0589136729616]
Indicit Graph Neural Networks (IGNN) と呼ばれるグラフ学習フレームワークを提案する。
IGNNは一貫して長距離依存を捉え、最先端のGNNモデルより優れている。
論文 参考訳（メタデータ） (2020-09-14T06:04:55Z) - NodeNet: A Graph Regularised Neural Network for Node Classification [0.0]
ほとんどのAI/ML技術は、データポイント間のリンクを排除している。
近年,グラフベースのAI/ML技術への関心が高まっている。
引用グラフのノード分類タスクを解決するために,NGL - NodeNet を用いたモデルを提案する。
論文 参考訳（メタデータ） (2020-06-16T09:41:58Z) - Geometrically Principled Connections in Graph Neural Networks [66.51286736506658]
我々は、幾何学的深層学習の新興分野におけるイノベーションの原動力は、幾何が依然として主要な推進力であるべきだと論じている。
グラフニューラルネットワークとコンピュータグラフィックスとデータ近似モデルとの関係:放射基底関数(RBF)
完全連結層とグラフ畳み込み演算子を組み合わせた新しいビルディングブロックであるアフィンスキップ接続を導入する。
論文 参考訳（メタデータ） (2020-04-06T13:25:46Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳（メタデータ） (2020-03-15T02:33:21Z) - Revisiting Graph based Collaborative Filtering: A Linear Residual Graph
Convolutional Network Approach [55.44107800525776]
グラフ畳み込みネットワーク(GCN)は、最先端のグラフベースの表現学習モデルである。
本稿では、GCNベースの協調フィルタリング(CF)ベースのレコメンダシステム(RS)について再検討する。
単純なグラフ畳み込みネットワークの理論と整合して,非線形性を取り除くことで推奨性能が向上することを示す。
本稿では,ユーザ・イテム相互作用モデリングを用いたCF用に特別に設計された残差ネットワーク構造を提案する。
論文 参考訳（メタデータ） (2020-01-28T04:41:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。