論文の概要: TransGNN: Harnessing the Collaborative Power of Transformers and Graph
Neural Networks for Recommender Systems
- arxiv url: http://arxiv.org/abs/2308.14355v2
- Date: Tue, 30 Jan 2024 13:27:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 19:02:17.923373
- Title: TransGNN: Harnessing the Collaborative Power of Transformers and Graph
Neural Networks for Recommender Systems
- Title（参考訳）: TransGNN:リコメンダシステムのためのトランスフォーマーとグラフニューラルネットワークの協調力を損なう
- Authors: Peiyan Zhang, Yuchen Yan, Chaozhuo Li, Senzhang Wang, Xing Xie,
Sunghun Kim
- Abstract要約: Graph Neural Networks(GNN)は、ユーザとイテムの相互作用グラフのモデリングを通じて、協調フィルタリング(CF)のための有望なソリューションとして登場した。
本稿では,Transformer層とGNN層を相互に拡張するために交互に統合する新しいモデルであるTransGNNを提案する。
- 参考スコア（独自算出の注目度）: 46.508519949169
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Neural Networks (GNNs) have emerged as promising solutions for
collaborative filtering (CF) through the modeling of user-item interaction
graphs. The nucleus of existing GNN-based recommender systems involves
recursive message passing along user-item interaction edges to refine encoded
embeddings. Despite their demonstrated effectiveness, current GNN-based methods
encounter challenges of limited receptive fields and the presence of noisy
``interest-irrelevant'' connections. In contrast, Transformer-based methods
excel in aggregating information adaptively and globally. Nevertheless, their
application to large-scale interaction graphs is hindered by inherent
complexities and challenges in capturing intricate, entangled structural
information. In this paper, we propose TransGNN, a novel model that integrates
Transformer and GNN layers in an alternating fashion to mutually enhance their
capabilities. Specifically, TransGNN leverages Transformer layers to broaden
the receptive field and disentangle information aggregation from edges, which
aggregates information from more relevant nodes, thereby enhancing the message
passing of GNNs. Additionally, to capture graph structure information
effectively, positional encoding is meticulously designed and integrated into
GNN layers to encode such structural knowledge into node attributes, thus
enhancing the Transformer's performance on graphs. Efficiency considerations
are also alleviated by proposing the sampling of the most relevant nodes for
the Transformer, along with two efficient sample update strategies to reduce
complexity. Furthermore, theoretical analysis demonstrates that TransGNN offers
increased expressiveness compared to GNNs, with only a marginal increase in
linear complexity. Extensive experiments on five public datasets validate the
effectiveness and efficiency of TransGNN.
- Abstract（参考訳）: グラフニューラルネットワーク(gnns)は,ユーザ-テーマインタラクショングラフのモデリングを通じて,協調フィルタリング(cf)の有望なソリューションとして浮上している。
既存のGNNベースのレコメンデータシステムの核となるのは、エンコードされた埋め込みを洗練させるために、ユーザとテムのインタラクションエッジに沿って再帰的なメッセージパッシングである。
これらの効果が実証されているにもかかわらず、現在のGNNベースの手法は、限られた受容領域の課題に直面する。
対照的に、Transformerベースの手法は、情報を適応的かつグローバルに集約する上で優れている。
それにもかかわらず、大規模な相互作用グラフへのそれらの応用は、固有の複雑さと複雑で絡み合った構造情報を取得する際の課題によって妨げられている。
本稿では,Transformer層とGNN層を統合して相互に機能を強化する新しいモデルであるTransGNNを提案する。
具体的には、TransGNNはTransformerレイヤを活用して、受容界を広げ、エッジから情報をアンタングルすることで、より関連するノードからの情報を集約し、GNNのメッセージパッシングを強化する。
さらに、グラフ構造情報を効果的にキャプチャするために、位置符号化をGNN層に微妙に設計して統合し、そのような構造知識をノード属性に符号化することにより、グラフ上のTransformerの性能を向上させる。
効率性の考慮は、トランスフォーマーの最も関連するノードのサンプリングと、複雑さを減らすための2つの効率的なサンプル更新戦略を提案することで緩和される。
さらに、理論解析により、TransGNNはGNNよりも表現性が高く、線形複雑性の限界的な増加しか示さない。
5つの公開データセットに関する大規模な実験は、TransGNNの有効性と効率を検証する。
関連論文リスト
- TANGNN: a Concise, Scalable and Effective Graph Neural Networks with Top-m Attention Mechanism for Graph Representation Learning [7.879217146851148]
本稿では,Top-mアテンション機構アグリゲーションコンポーネントと近傍アグリゲーションコンポーネントを統合した,革新的なグラフニューラルネットワーク(GNN)アーキテクチャを提案する。
提案手法の有効性を評価するため,提案手法をGNN分野において未探索の新たな課題である引用感情予測に適用した。
論文 参考訳（メタデータ） (2024-11-23T05:31:25Z) - DGNN: Decoupled Graph Neural Networks with Structural Consistency
between Attribute and Graph Embedding Representations [62.04558318166396]
グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。
ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。
複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
論文 参考訳（メタデータ） (2024-01-28T06:43:13Z) - GGNNs : Generalizing GNNs using Residual Connections and Weighted
Message Passing [0.0]
GNNはグラフ内の関係やパターンを捕捉し、効果的な学習と予測タスクを可能にする。
GNNの一般化力は、層間のメッセージパッシング機構に起因すると一般的に信じられている。
提案手法は,各ノードにアキュミュレートする前にメッセージを重み付けし,Residual接続を追加することによって,メッセージパッシング機構をさらに改良する。
論文 参考訳（メタデータ） (2023-11-26T22:22:38Z) - DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。
GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。
また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-05-22T10:29:52Z) - Spiking Variational Graph Auto-Encoders for Efficient Graph
Representation Learning [10.65760757021534]
本稿では,効率的なグラフ表現学習のためのSNNに基づく深層生成手法,すなわちSpking Variational Graph Auto-Encoders (S-VGAE)を提案する。
我々は,複数のベンチマークグラフデータセット上でリンク予測実験を行い,この結果から,グラフ表現学習における他のANNやSNNに匹敵する性能で,より少ないエネルギーを消費することを示した。
論文 参考訳（メタデータ） (2022-10-24T12:54:41Z) - Relation Embedding based Graph Neural Networks for Handling
Heterogeneous Graph [58.99478502486377]
我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。
具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
論文 参考訳（メタデータ） (2022-09-23T05:24:18Z) - Enhance Information Propagation for Graph Neural Network by
Heterogeneous Aggregations [7.3136594018091134]
グラフニューラルネットワークは、ディープラーニングの成功の継続として出現している。
ヘテロジニアスアグリゲーションを組み合わせることで,GNN層間の情報伝達を促進することを提案する。
我々は,多くのグラフ分類ベンチマークにおいて,HAG-Netの有効性を実証的に検証した。
論文 参考訳（メタデータ） (2021-02-08T08:57:56Z) - A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。
本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。
UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
論文 参考訳（メタデータ） (2020-10-05T04:57:18Z) - Graph Neural Networks: Architectures, Stability and Transferability [176.3960927323358]
グラフニューラルネットワーク(GNN)は、グラフでサポートされている信号のための情報処理アーキテクチャである。
これらは、個々の層がグラフ畳み込みフィルタのバンクを含む畳み込みニューラルネットワーク(CNN)の一般化である。
論文 参考訳（メタデータ） (2020-08-04T18:57:36Z) - Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。
複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。
本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
論文 参考訳（メタデータ） (2020-06-26T17:03:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。