論文の概要: Attention Beyond Neighborhoods: Reviving Transformer for Graph Clustering

• arxiv url: http://arxiv.org/abs/2509.15024v1
• Date: Thu, 18 Sep 2025 14:51:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.272632
• Title: Attention Beyond Neighborhoods: Reviving Transformer for Graph Clustering
• Title（参考訳）: 近隣への注意:グラフクラスタリングのためのリバイバルトランス
• Authors: Xuanting Xie, Bingheng Li, Erlin Pan, Rui Hou, Wenyu Chen, Zhao Kang,
• Abstract要約: Attentive Graph Clustering Network (AGCN)は、グラフが注目されているという概念を再解釈する新しいアーキテクチャである。 AGCNはアテンション機構をグラフ構造に埋め込み、効果的なグローバル情報抽出を可能にする。 我々のフレームワークは、AGCNの挙動をグラフニューラルネットワーク(GNN)やトランスフォーマーと対比するために理論解析を取り入れている。
• 参考スコア（独自算出の注目度）: 21.941792185132996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention mechanisms have become a cornerstone in modern neural networks, driving breakthroughs across diverse domains. However, their application to graph structured data, where capturing topological connections is essential, remains underexplored and underperforming compared to Graph Neural Networks (GNNs), particularly in the graph clustering task. GNN tends to overemphasize neighborhood aggregation, leading to a homogenization of node representations. Conversely, Transformer tends to over globalize, highlighting distant nodes at the expense of meaningful local patterns. This dichotomy raises a key question: Is attention inherently redundant for unsupervised graph learning? To address this, we conduct a comprehensive empirical analysis, uncovering the complementary weaknesses of GNN and Transformer in graph clustering. Motivated by these insights, we propose the Attentive Graph Clustering Network (AGCN) a novel architecture that reinterprets the notion that graph is attention. AGCN directly embeds the attention mechanism into the graph structure, enabling effective global information extraction while maintaining sensitivity to local topological cues. Our framework incorporates theoretical analysis to contrast AGCN behavior with GNN and Transformer and introduces two innovations: (1) a KV cache mechanism to improve computational efficiency, and (2) a pairwise margin contrastive loss to boost the discriminative capacity of the attention space. Extensive experimental results demonstrate that AGCN outperforms state-of-the-art methods.
• Abstract（参考訳）: 注意機構は現代のニューラルネットワークの基盤となり、さまざまな領域にわたるブレークスルーを駆動している。 しかし、トポロジ的接続のキャプチャが不可欠であるグラフ構造化データへの適用は、特にグラフクラスタリングタスクにおいて、グラフニューラルネットワーク(GNN)と比較して探索が過小評価されているままである。 GNNは近傍の集約を過度に強調し、ノード表現の均質化につながる傾向がある。 逆にTransformerはグローバル化を超越し、意味のあるローカルパターンを犠牲にして、遠くのノードをハイライトする傾向にある。 この二分法は重要な疑問を提起する: 注意は教師なしグラフ学習に本質的に冗長か? これを解決するために、グラフクラスタリングにおけるGNNとTransformerの相補的弱点を明らかにする総合的な経験分析を行う。 これらの知見に触発されて,グラフが注目されるという概念を再解釈する新しいアーキテクチャであるAGCNを提案する。 AGCNは、アテンション機構を直接グラフ構造に埋め込んで、局所的なトポロジカルな手がかりに対する感受性を維持しつつ、効果的なグローバル情報抽出を可能にする。 GNNやTransformerとAGCNの動作を対比する理論分析を取り入れ,(1)計算効率を向上させるKVキャッシュ機構,(2)注目空間の識別能力を高めるための対角的な差分損失という2つのイノベーションを導入する。 AGCNは最先端の手法よりも優れていた。

関連論文リスト

• GLANCE: Graph Logic Attention Network with Cluster Enhancement for Heterophilous Graph Representation Learning [54.60090631330295]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習する上で大きな成功を収めている。 本稿では,論理誘導推論,動的グラフ改善,適応クラスタリングを統合し,グラフ表現学習を強化する新しいフレームワークであるGLANCEを提案する。
  論文  参考訳（メタデータ） (2025-07-24T15:45:26Z)
• Graph Attention for Heterogeneous Graphs with Positional Encoding [0.0]
  グラフニューラルネットワーク(GNN)は、グラフデータモデリングのデファクトスタンダードとして登場した。 この研究は、異種グラフの最も効果的な方法を特定するために、様々なGNNアーキテクチャをベンチマークする。 その結果,これらの作業においてグラフ注意ネットワークが優れていることがわかった。
  論文  参考訳（メタデータ） (2025-04-03T18:00:02Z)
• Deep Contrastive Graph Learning with Clustering-Oriented Guidance [61.103996105756394]
  グラフ畳み込みネットワーク(GCN)は、グラフベースのクラスタリングを改善する上で大きな可能性を秘めている。 モデルはGCNを適用するために初期グラフを事前に推定する。 一般的なデータクラスタリングには,Deep Contrastive Graph Learning (DCGL)モデルが提案されている。
  論文  参考訳（メタデータ） (2024-02-25T07:03:37Z)
• Transforming Graphs for Enhanced Attribute Clustering: An Innovative Graph Transformer-Based Method [8.989218350080844]
  本研究では、グラフクラスタリングのためのグラフトランスフォーマーオートエンコーダ(GTAGC)と呼ばれる革新的な手法を提案する。 Graph Auto-EncoderをGraph Transformerでマージすることで、GTAGCはノード間のグローバルな依存関係をキャプチャできる。 GTAGCのアーキテクチャはグラフの埋め込み、オートエンコーダ構造内のグラフ変換器の統合、クラスタリングコンポーネントを含んでいる。
  論文  参考訳（メタデータ） (2023-06-20T06:04:03Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• Graph Transformer GANs for Graph-Constrained House Generation [223.739067413952]
  本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。 GTGANは、グラフ制約のある住宅生成タスクにおいて、エンドツーエンドで効率的なグラフノード関係を学習する。
  論文  参考訳（メタデータ） (2023-03-14T20:35:45Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
  本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。 複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2021-10-15T07:18:57Z)
• Hierarchical Message-Passing Graph Neural Networks [12.207978823927386]
  本稿では,新しい階層型メッセージパッシンググラフニューラルネットワークフレームワークを提案する。 鍵となるアイデアは、フラットグラフ内のすべてのノードをマルチレベルなスーパーグラフに再編成する階層構造を生成することである。 階層型コミュニティ対応グラフニューラルネットワーク(HC-GNN)と呼ばれる,このフレームワークを実装した最初のモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-08T13:11:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。