論文の概要: Hierarchical Attention Models for Multi-Relational Graphs

• arxiv url: http://arxiv.org/abs/2404.09365v1
• Date: Sun, 14 Apr 2024 21:37:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 14:18:53.655714
• Title: Hierarchical Attention Models for Multi-Relational Graphs
• Title（参考訳）: 多関係グラフの階層的注意モデル
• Authors: Roshni G. Iyer, Wei Wang, Yizhou Sun,
• Abstract要約: BR-GCN(Bi-Level Attention-Based Graph Convolutional Networks)を提案する。 BR-GCNモデルは,(1)ノードレベルの注意,(2)関係レベルの注意を通じてノードの埋め込みを学習する。 BR-GCNの注意機構は,最先端のGNNと比較して,スケーラブルで,学習に有効であることを示す。
• 参考スコア（独自算出の注目度）: 40.143721982295915
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Bi-Level Attention-Based Relational Graph Convolutional Networks (BR-GCN), unique neural network architectures that utilize masked self-attentional layers with relational graph convolutions, to effectively operate on highly multi-relational data. BR-GCN models use bi-level attention to learn node embeddings through (1) node-level attention, and (2) relation-level attention. The node-level self-attentional layers use intra-relational graph interactions to learn relation-specific node embeddings using a weighted aggregation of neighborhood features in a sparse subgraph region. The relation-level self-attentional layers use inter-relational graph interactions to learn the final node embeddings using a weighted aggregation of relation-specific node embeddings. The BR-GCN bi-level attention mechanism extends Transformer-based multiplicative attention from the natural language processing (NLP) domain, and Graph Attention Networks (GAT)-based attention, to large-scale heterogeneous graphs (HGs). On node classification, BR-GCN outperforms baselines from 0.29% to 14.95% as a stand-alone model, and on link prediction, BR-GCN outperforms baselines from 0.02% to 7.40% as an auto-encoder model. We also conduct ablation studies to evaluate the quality of BR-GCN's relation-level attention and discuss how its learning of graph structure may be transferred to enrich other graph neural networks (GNNs). Through various experiments, we show that BR-GCN's attention mechanism is both scalable and more effective in learning compared to state-of-the-art GNNs.
• Abstract（参考訳）: 本稿では,2レベルアテンションに基づくリレーショナルグラフ畳み込みネットワーク(BR-GCN)を提案する。 BR-GCNモデルは,(1)ノードレベルの注意,(2)関係レベルの注意を通じてノードの埋め込みを学習する。 ノードレベルの自己注意層は、関係性のあるノード埋め込みをスパース部分グラフ領域の近傍特徴の重み付け集合を用いて学習するために、関係性内のグラフ相互作用を用いる。 関係レベル自己注意層は関係グラフ間相互作用を用いて関係固有ノード埋め込みの重み付け集約を用いて最終ノード埋め込みを学習する。 BR-GCNのバイレベルアテンション機構は、Transformerベースの乗法的アテンションを自然言語処理(NLP)ドメインから拡張し、グラフアテンションネットワーク(GAT)ベースのアテンションを大規模ヘテロジニアスグラフ(HG)へと拡張する。 ノード分類では、BR-GCNはスタンドアロンモデルとして0.29%から14.95%のベースライン、リンク予測では、自動エンコーダモデルとして0.02%から7.40%のベースラインを上回っている。 また、BR-GCNの関係レベルの注意の質を評価するためにアブレーション研究を行い、グラフ構造の学習が他のグラフニューラルネットワーク(GNN)にどのように移行されるかについて議論した。 BR-GCNの注意機構は, 最先端のGNNと比較して, スケーラブルで, 学習に有効であることを示す。

関連論文リスト

• Graph as a feature: improving node classification with non-neural graph-aware logistic regression [2.952177779219163]
  Graph-aware Logistic Regression (GLR) はノード分類タスク用に設計された非神経モデルである。 GNNにアクセスできる情報のごく一部しか使わない従来のグラフアルゴリズムとは異なり、提案モデルではノードの特徴とエンティティ間の関係を同時に活用する。
  論文  参考訳（メタデータ） (2024-11-19T08:32:14Z)
• Self-Attention Empowered Graph Convolutional Network for Structure Learning and Node Embedding [5.164875580197953]
  グラフ構造化データの表現学習では、多くの人気のあるグラフニューラルネットワーク(GNN)が長距離依存をキャプチャできない。 本稿では,自己注意型グラフ畳み込みネットワーク(GCN-SA)と呼ばれる新しいグラフ学習フレームワークを提案する。 提案手法はノードレベルの表現学習において例外的な一般化能力を示す。
  論文  参考訳（メタデータ） (2024-03-06T05:00:31Z)
• Deep Contrastive Graph Learning with Clustering-Oriented Guidance [61.103996105756394]
  グラフ畳み込みネットワーク(GCN)は、グラフベースのクラスタリングを改善する上で大きな可能性を秘めている。 モデルはGCNを適用するために初期グラフを事前に推定する。 一般的なデータクラスタリングには,Deep Contrastive Graph Learning (DCGL)モデルが提案されている。
  論文  参考訳（メタデータ） (2024-02-25T07:03:37Z)
• DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations [62.04558318166396]
  グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。 ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。 複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
  論文  参考訳（メタデータ） (2024-01-28T06:43:13Z)
• Bi-Level Attention Graph Neural Networks [31.543368116788706]
  両レベル注意グラフニューラルネットワーク(BA-GNN),スケーラブルニューラルネットワーク(NN)について,新しい2レベルグラフアテンション機構を提案する。 BA-GNNは、局所的な近所のコンテキストから両方の種類の情報に階層的に参加することで、ノードノードと関係関係関係の相互作用をパーソナライズした方法でモデル化する。
  論文  参考訳（メタデータ） (2023-04-23T04:18:56Z)
• Automatic Relation-aware Graph Network Proliferation [182.30735195376792]
  GNNを効率的に検索するためのARGNP(Automatic Relation-Aware Graph Network Proliferation)を提案する。 これらの操作は階層的なノード/リレーショナル情報を抽出し、グラフ上のメッセージパッシングのための異方的ガイダンスを提供する。 4つのグラフ学習タスクのための6つのデータセットの実験により、我々の手法によって生成されたGNNは、現在最先端の手作りおよび検索に基づくGNNよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-31T10:38:04Z)
• Discovering the Representation Bottleneck of Graph Neural Networks from Multi-order Interactions [51.597480162777074]
  グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。 最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。 科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
  論文  参考訳（メタデータ） (2022-05-15T11:38:14Z)
• Bridging Graph Neural Networks and Statistical Relational Learning: Relational One-Class GCN [0.0]
  リレーショナルデータに対するグラフ畳み込みネットワーク(GCN)の学習の問題を検討する。 本手法は,関係密度推定手法を用いて二次グラフを構築する。
  論文  参考訳（メタデータ） (2021-02-13T21:34:44Z)
• Multi-Level Graph Convolutional Network with Automatic Graph Learning for Hyperspectral Image Classification [63.56018768401328]
  HSI分類のための自動グラフ学習法(MGCN-AGL)を用いたマルチレベルグラフ畳み込みネットワーク(GCN)を提案する。 空間的に隣接する領域における重要度を特徴付けるために注意機構を利用することで、最も関連性の高い情報を適応的に組み込んで意思決定を行うことができる。 MGCN-AGLは局所的に生成した表現表現に基づいて画像領域間の長距離依存性を符号化する。
  論文  参考訳（メタデータ） (2020-09-19T09:26:20Z)
• Hierarchical Message-Passing Graph Neural Networks [12.207978823927386]
  本稿では,新しい階層型メッセージパッシンググラフニューラルネットワークフレームワークを提案する。 鍵となるアイデアは、フラットグラフ内のすべてのノードをマルチレベルなスーパーグラフに再編成する階層構造を生成することである。 階層型コミュニティ対応グラフニューラルネットワーク(HC-GNN)と呼ばれる,このフレームワークを実装した最初のモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-08T13:11:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。