論文の概要: Masked Graph Transformer for Large-Scale Recommendation

• arxiv url: http://arxiv.org/abs/2405.04028v1
• Date: Tue, 07 May 2024 06:00:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 00:58:59.382908
• Title: Masked Graph Transformer for Large-Scale Recommendation
• Title（参考訳）: 大規模レコメンデーションのためのマスク付きグラフ変換器
• Authors: Huiyuan Chen, Zhe Xu, Chin-Chia Michael Yeh, Vivian Lai, Yan Zheng, Minghua Xu, Hanghang Tong,
• Abstract要約: 本稿では, MGFormer という名前の効率的な Masked Graph Transformer を提案する。 実験の結果,単一注意層でもMGFormerの優れた性能が得られた。
• 参考スコア（独自算出の注目度）: 56.37903431721977
• License:
• Abstract: Graph Transformers have garnered significant attention for learning graph-structured data, thanks to their superb ability to capture long-range dependencies among nodes. However, the quadratic space and time complexity hinders the scalability of Graph Transformers, particularly for large-scale recommendation. Here we propose an efficient Masked Graph Transformer, named MGFormer, capable of capturing all-pair interactions among nodes with a linear complexity. To achieve this, we treat all user/item nodes as independent tokens, enhance them with positional embeddings, and feed them into a kernelized attention module. Additionally, we incorporate learnable relative degree information to appropriately reweigh the attentions. Experimental results show the superior performance of our MGFormer, even with a single attention layer.
• Abstract（参考訳）: グラフトランスフォーマーは、ノード間の長距離依存関係をキャプチャする優れた能力のおかげで、グラフ構造化データの学習に大きな注目を集めている。 しかし、二次空間と時間の複雑さはグラフトランスフォーマーのスケーラビリティを妨げ、特に大規模レコメンデーションを妨げている。 本稿では, MGFormer という名前の効率的なMasked Graph Transformerを提案する。 これを実現するために、すべてのユーザ/イテムノードを独立トークンとして扱い、位置埋め込みによりそれらを拡張し、カーネル化されたアテンションモジュールに供給する。 さらに、学習可能な相対次情報を組み込んで注意を適切に振り返る。 実験の結果,単一注意層でもMGFormerの優れた性能が得られた。

関連論文リスト

• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• SpikeGraphormer: A High-Performance Graph Transformer with Spiking Graph Attention [1.4126245676224705]
  Graph Transformerは、Graph Neural Networks(GNN)固有の制限を軽減するための、有望なソリューションとして登場した。 本稿では,SNNとグラフ変換器の統合に関する新たな知見を提案し,Spiking Graph Attention (SGA) モジュールを設計する。 SpikeGraphormerは、さまざまなデータセットにわたる既存の最先端アプローチを一貫して上回る。
  論文  参考訳（メタデータ） (2024-03-21T03:11:53Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• AGFormer: Efficient Graph Representation with Anchor-Graph Transformer [95.1825252182316]
  Anchor Graph Transformer (AGFormer) と呼ばれる新しいグラフトランスアーキテクチャを提案する。 AGFormerはまずいくつかの代表アンカーを取得し、次にノード間メッセージパッシングをアンカー間メッセージパッシングプロセスとアンカー間メッセージパッシングプロセスに変換する。 いくつかのベンチマークデータセットに対する大規模な実験は、提案されたAGFormerの有効性とメリットを示している。
  論文  参考訳（メタデータ） (2023-05-12T14:35:42Z)
• NAGphormer: Neighborhood Aggregation Graph Transformer for Node Classification in Large Graphs [10.149586598073421]
  本研究では,数百万のノードを持つ大規模グラフに対してスケーラブルなNAGphormer(Neighborhood Aggregation Graph Transformer)を提案する。 NAGphormerはHop2Tokenと呼ばれる近隣アグリゲーションモジュールによって各ノードのトークンを構成する。 6つの小さなデータセットと3つの大きなデータセットを含む、さまざまな人気のあるベンチマークで広範な実験を行います。
  論文  参考訳（メタデータ） (2022-06-10T07:23:51Z)
• What Dense Graph Do You Need for Self-Attention? [73.82686008622596]
  我々はハイパーキューブにおけるトークンインタラクションをモデル化し、バニラ変換器と同等あるいはそれ以上の結果を示すスパーストランスフォーマーHypercube Transformerを提案する。 様々なシーケンス長を必要とするタスクの実験は、グラフ関数の検証をうまく行いました。
  論文  参考訳（メタデータ） (2022-05-27T14:36:55Z)
• MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
  Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。 自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
  論文  参考訳（メタデータ） (2022-01-07T16:48:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。