論文の概要: Weisfeiler and Leman Go Relational

• arxiv url: http://arxiv.org/abs/2211.17113v1
• Date: Wed, 30 Nov 2022 15:56:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 15:18:12.196573
• Title: Weisfeiler and Leman Go Relational
• Title（参考訳）: WeisfeilerとLeman Goの関係性
• Authors: Pablo Barcelo, Mikhail Galkin, Christopher Morris, Miguel Romero Orth
• Abstract要約: 本稿では,よく知られたGCNおよびコンポジションGCNアーキテクチャの表現力の限界について検討する。 上記の2つのアーキテクチャの制限を確実に克服する$k$-RNアーキテクチャを導入します。
• 参考スコア（独自算出の注目度）: 4.29881872550313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge graphs, modeling multi-relational data, improve numerous applications such as question answering or graph logical reasoning. Many graph neural networks for such data emerged recently, often outperforming shallow architectures. However, the design of such multi-relational graph neural networks is ad-hoc, driven mainly by intuition and empirical insights. Up to now, their expressivity, their relation to each other, and their (practical) learning performance is poorly understood. Here, we initiate the study of deriving a more principled understanding of multi-relational graph neural networks. Namely, we investigate the limitations in the expressive power of the well-known Relational GCN and Compositional GCN architectures and shed some light on their practical learning performance. By aligning both architectures with a suitable version of the Weisfeiler-Leman test, we establish under which conditions both models have the same expressive power in distinguishing non-isomorphic (multi-relational) graphs or vertices with different structural roles. Further, by leveraging recent progress in designing expressive graph neural networks, we introduce the $k$-RN architecture that provably overcomes the expressiveness limitations of the above two architectures. Empirically, we confirm our theoretical findings in a vertex classification setting over small and large multi-relational graphs.
• Abstract（参考訳）: 知識グラフ、マルチリレーショナルデータをモデル化し、質問応答やグラフ論理推論などの多くのアプリケーションを改善する。 このようなデータのための多くのグラフニューラルネットワークが最近登場し、しばしば浅いアーキテクチャを上回っている。 しかし、このようなマルチリレーショナルグラフニューラルネットワークの設計はアドホックであり、主に直観と経験的洞察によって駆動される。 今のところ、彼らの表現力、互いの関係、そして彼らの(実践的な)学習パフォーマンスは理解されていない。 本稿では,マルチリレーショナルグラフニューラルネットワークのより原理的な理解を導出する研究を開始する。 すなわち、よく知られたリレーショナルGCNとコンポジションGCNアーキテクチャの表現力の限界について検討し、その実践的学習性能に光を当てた。 両アーキテクチャをWeisfeiler-Lemanテストの適切なバージョンに整合させることにより、両モデルが非同型(多重関係)グラフや異なる構造的役割を持つ頂点を区別する同じ表現力を持つ条件を確立する。 さらに、表現型グラフニューラルネットワークの設計の最近の進歩を利用して、上記の2つのアーキテクチャの表現性制限を確実に克服する$k$-rnアーキテクチャを導入する。 実験により,小型および大規模マルチリレーショナルグラフ上での頂点分類における理論的知見を確認した。

関連論文リスト

• Foundations and Frontiers of Graph Learning Theory [81.39078977407719]
  グラフ学習の最近の進歩は、複雑な構造を持つデータを理解し分析する方法に革命をもたらした。 グラフニューラルネットワーク(GNN)、すなわちグラフ表現を学習するために設計されたニューラルネットワークアーキテクチャは、一般的なパラダイムとなっている。 本稿では,グラフ学習モデルに固有の近似と学習行動に関する理論的基礎とブレークスルーについて概説する。
  論文  参考訳（メタデータ） (2024-07-03T14:07:41Z)
• Unsupervised Graph Neural Architecture Search with Disentangled Self-supervision [51.88848982611515]
  教師なしグラフニューラルアーキテクチャサーチは、文献では未発見のままである。 本稿では,Distangled Self-supervised Graph Neural Architecture Searchモデルを提案する。 我々のモデルは、教師なしの方法で、いくつかのベースライン手法に対して最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2024-03-08T05:23:55Z)
• When Representations Align: Universality in Representation Learning Dynamics [8.188549368578704]
  我々は、入力から隠れ表現への符号化マップと、表現から出力への復号マップが任意の滑らかな関数であるという仮定の下で、表現学習の効果的な理論を導出する。 実験により,活性化関数とアーキテクチャの異なる深層ネットワークにおける表現学習力学の側面を効果的に記述することを示した。
  論文  参考訳（メタデータ） (2024-02-14T12:48:17Z)
• Neural Architecture Retrieval [27.063268631346713]
  我々は、クエリニューラルアーキテクチャに似た設計で既存のニューラルアーキテクチャの集合を検索するニューラルアーキテクチャ検索という新しい問題を定義する。 既存のグラフ事前学習戦略は、グラフのサイズとモチーフのため、ニューラルネットワークの計算グラフに対処できない。 正確なグラフ表現学習を実現するために,マルチレベルコントラスト学習を導入する。
  論文  参考訳（メタデータ） (2023-07-16T01:56:41Z)
• A Theory of Link Prediction via Relational Weisfeiler-Leman on Knowledge Graphs [6.379544211152605]
  グラフニューラルネットワークは、グラフ構造化データ上での表現学習のための顕著なモデルである。 私たちの目標は、知識グラフのためのグラフニューラルネットワークのランドスケープを体系的に理解することです。
  論文  参考訳（メタデータ） (2023-02-04T17:40:03Z)
• Convolutional Learning on Multigraphs [153.20329791008095]
  我々は、多グラフ上の畳み込み情報処理を開発し、畳み込み多グラフニューラルネットワーク(MGNN)を導入する。 情報拡散の複雑なダイナミクスを多グラフのエッジのクラス間で捉えるために、畳み込み信号処理モデルを定式化する。 我々は,計算複雑性を低減するため,サンプリング手順を含むマルチグラフ学習アーキテクチャを開発した。 導入されたアーキテクチャは、最適な無線リソース割り当てとヘイトスピーチローカライゼーションタスクに適用され、従来のグラフニューラルネットワークよりも優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2022-09-23T00:33:04Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Geometrically Principled Connections in Graph Neural Networks [66.51286736506658]
  我々は、幾何学的深層学習の新興分野におけるイノベーションの原動力は、幾何が依然として主要な推進力であるべきだと論じている。 グラフニューラルネットワークとコンピュータグラフィックスとデータ近似モデルとの関係:放射基底関数(RBF) 完全連結層とグラフ畳み込み演算子を組み合わせた新しいビルディングブロックであるアフィンスキップ接続を導入する。
  論文  参考訳（メタデータ） (2020-04-06T13:25:46Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。