論文の概要: Cluster-wise Graph Transformer with Dual-granularity Kernelized Attention

• arxiv url: http://arxiv.org/abs/2410.06746v2
• Date: Mon, 23 Dec 2024 12:55:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:51:42.743970
• Title: Cluster-wise Graph Transformer with Dual-granularity Kernelized Attention
• Title（参考訳）: 二重粒度カーネル化アテンションを有するクラスタワイズグラフトランス
• Authors: Siyuan Huang, Yunchong Song, Jiayue Zhou, Zhouhan Lin,
• Abstract要約: グラフを,各クラスタを1つの埋め込みに圧縮することなく,相互接続したノード集合のネットワークとして想定する。 これらのノード間の効果的な情報伝達を実現するために,ノード間クラスタアテンション(N2C-Attn)機構を提案する。 N2C-Attnがクエリとキーの2レベル特徴マップを組み合わせる方法を示し、二重粒度情報をマージする能力を示す。
• 参考スコア（独自算出の注目度）: 27.29964380651613
• License:
• Abstract: In the realm of graph learning, there is a category of methods that conceptualize graphs as hierarchical structures, utilizing node clustering to capture broader structural information. While generally effective, these methods often rely on a fixed graph coarsening routine, leading to overly homogeneous cluster representations and loss of node-level information. In this paper, we envision the graph as a network of interconnected node sets without compressing each cluster into a single embedding. To enable effective information transfer among these node sets, we propose the Node-to-Cluster Attention (N2C-Attn) mechanism. N2C-Attn incorporates techniques from Multiple Kernel Learning into the kernelized attention framework, effectively capturing information at both node and cluster levels. We then devise an efficient form for N2C-Attn using the cluster-wise message-passing framework, achieving linear time complexity. We further analyze how N2C-Attn combines bi-level feature maps of queries and keys, demonstrating its capability to merge dual-granularity information. The resulting architecture, Cluster-wise Graph Transformer (Cluster-GT), which uses node clusters as tokens and employs our proposed N2C-Attn module, shows superior performance on various graph-level tasks. Code is available at https://github.com/LUMIA-Group/Cluster-wise-Graph-Transformer.
• Abstract（参考訳）: グラフ学習の領域では、グラフを階層構造として概念化し、ノードクラスタリングを利用してより広い構造情報をキャプチャする手法のカテゴリが存在する。 一般的には有効であるが、これらの手法は固定グラフの粗いルーチンに依存し、極端に均質なクラスタ表現とノードレベルの情報の損失をもたらす。 本稿では,各クラスタを1つの埋め込みに圧縮することなく,相互接続したノード集合のネットワークとしてグラフを想定する。 これらのノード間の効果的な情報伝達を実現するために,ノード間クラスタアテンション(N2C-Attn)機構を提案する。 N2C-Attnは、Multiple Kernel Learningのテクニックをカーネル化された注目フレームワークに取り入れ、ノードレベルとクラスタレベルの情報を効果的にキャプチャする。 次に、クラスタ単位のメッセージパッシングフレームワークを用いて、N2C-Attnの効率的な形式を考案し、線形時間複雑性を実現する。 さらに、N2C-Attnがクエリとキーの2レベル特徴マップをどのように組み合わせているかを分析し、二重粒度情報をマージする能力を実証する。 得られたアーキテクチャであるCluster-wise Graph Transformer(Cluster-GT)はノードクラスタをトークンとして使用し,提案したN2C-Attnモジュールを用いて,グラフレベルのタスクにおいて優れたパフォーマンスを示す。 コードはhttps://github.com/LUMIA-Group/Cluster-wise-Graph-Transformerで入手できる。

関連論文リスト

• Cluster-based Graph Collaborative Filtering [55.929052969825825]
  グラフ畳み込みネットワーク(GCN)は、レコメンデーションシステムのためのユーザおよびアイテム表現の学習に成功している。 既存のGCNベースのほとんどのメソッドは、高階グラフ畳み込みを実行しながら、ユーザの複数の関心事を見落としている。 クラスタベースグラフ協調フィルタリング(ClusterGCF)と呼ばれる新しいGCNベースのレコメンデーションモデルを提案する。
  論文  参考訳（メタデータ） (2024-04-16T07:05:16Z)
• Deep Contrastive Graph Learning with Clustering-Oriented Guidance [61.103996105756394]
  グラフ畳み込みネットワーク(GCN)は、グラフベースのクラスタリングを改善する上で大きな可能性を秘めている。 モデルはGCNを適用するために初期グラフを事前に推定する。 一般的なデータクラスタリングには,Deep Contrastive Graph Learning (DCGL)モデルが提案されている。
  論文  参考訳（メタデータ） (2024-02-25T07:03:37Z)
• Reinforcement Graph Clustering with Unknown Cluster Number [91.4861135742095]
  本稿では,Reinforcement Graph Clusteringと呼ばれる新しいディープグラフクラスタリング手法を提案する。 提案手法では,クラスタ数決定と教師なし表現学習を統一的なフレームワークに統合する。 フィードバック動作を行うために、クラスタリング指向の報酬関数を提案し、同一クラスタの凝集を高め、異なるクラスタを分離する。
  論文  参考訳（メタデータ） (2023-08-13T18:12:28Z)
• Dual Contrastive Attributed Graph Clustering Network [6.796682703663566]
  我々はDCAGC(Dual Contrastive Attributed Graph Clustering Network)と呼ばれる汎用フレームワークを提案する。 DCAGCでは、近隣のコントラストモジュールを利用することで、近隣ノードの類似性を最大化し、ノード表現の品質を向上させる。 DCAGCのすべてのモジュールは、統一されたフレームワークでトレーニングされ、最適化されているため、学習されたノード表現にはクラスタリング指向のメッセージが含まれている。
  論文  参考訳（メタデータ） (2022-06-16T03:17:01Z)
• Self-supervised Contrastive Attributed Graph Clustering [110.52694943592974]
  我々は,自己教師型コントラストグラフクラスタリング(SCAGC)という,新たな属性グラフクラスタリングネットワークを提案する。 SCAGCでは,不正確なクラスタリングラベルを活用することで,ノード表現学習のための自己教師付きコントラスト損失を設計する。 OOSノードでは、SCAGCはクラスタリングラベルを直接計算できる。
  論文  参考訳（メタデータ） (2021-10-15T03:25:28Z)
• Attention-driven Graph Clustering Network [49.040136530379094]
  我々は、注意駆動グラフクラスタリングネットワーク(AGCN)という新しいディープクラスタリング手法を提案する。 AGCNは、ノード属性特徴とトポロジグラフ特徴を動的に融合するために、不均一な融合モジュールを利用する。 AGCNは、教師なしの方法で特徴学習とクラスタ割り当てを共同で行うことができる。
  論文  参考訳（メタデータ） (2021-08-12T02:30:38Z)
• Graph InfoClust: Leveraging cluster-level node information for unsupervised graph representation learning [12.592903558338444]
  本稿では,グラフ InfoClust というグラフ表現学習手法を提案する。 同社はさらに、クラスタレベルの情報コンテンツをキャプチャしようとしている。 この最適化により、ノード表現はよりリッチな情報とノイズ相互作用をキャプチャし、それによって品質が向上する。
  論文  参考訳（メタデータ） (2020-09-15T09:33:20Z)
• CAGNN: Cluster-Aware Graph Neural Networks for Unsupervised Graph Representation Learning [19.432449825536423]
  教師なしグラフ表現学習は、教師なしの低次元ノード埋め込みを学習することを目的としている。 本稿では、自己教師付き手法を用いた教師なしグラフ表現学習のための新しいクラスタ対応グラフニューラルネットワーク(CAGNN)モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-03T13:57:18Z)
• Graph Neural Networks with Composite Kernels [60.81504431653264]
  カーネル重み付けの観点からノード集約を再解釈する。 本稿では,アグリゲーション方式における特徴類似性を考慮したフレームワークを提案する。 特徴空間における特徴類似性をエンコードするために,元の隣り合うカーネルと学習可能なカーネルの合成として特徴集約を提案する。
  論文  参考訳（メタデータ） (2020-05-16T04:44:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。