論文の概要: Less is More: on the Over-Globalizing Problem in Graph Transformers

• arxiv url: http://arxiv.org/abs/2405.01102v2
• Date: Fri, 24 May 2024 08:53:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 20:17:43.095119
• Title: Less is More: on the Over-Globalizing Problem in Graph Transformers
• Title（参考訳）: グラフ変換器のオーバーグローバル化問題について
• Authors: Yujie Xing, Xiao Wang, Yibo Li, Hai Huang, Chuan Shi,
• Abstract要約: グローバルアテンション機構は、完全に連結されたグラフにおいてより広い受容場を考慮し、多くの人が有用な情報を全てのノードから抽出できると考えている。 現在の注意機構は,これらの遠隔ノードに過度に焦点を絞っているのに対して,その近辺ノードは実際には有用な情報の大半を包含しているため,比較的弱体化している。 本稿では,コラボレーティブ・トレーニング(CoBFormer)を用いたバイレベル・グローバルグラフ変換器を提案する。
• 参考スコア（独自算出の注目度）: 34.52455014631614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Transformer, due to its global attention mechanism, has emerged as a new tool in dealing with graph-structured data. It is well recognized that the global attention mechanism considers a wider receptive field in a fully connected graph, leading many to believe that useful information can be extracted from all the nodes. In this paper, we challenge this belief: does the globalizing property always benefit Graph Transformers? We reveal the over-globalizing problem in Graph Transformer by presenting both empirical evidence and theoretical analysis, i.e., the current attention mechanism overly focuses on those distant nodes, while the near nodes, which actually contain most of the useful information, are relatively weakened. Then we propose a novel Bi-Level Global Graph Transformer with Collaborative Training (CoBFormer), including the inter-cluster and intra-cluster Transformers, to prevent the over-globalizing problem while keeping the ability to extract valuable information from distant nodes. Moreover, the collaborative training is proposed to improve the model's generalization ability with a theoretical guarantee. Extensive experiments on various graphs well validate the effectiveness of our proposed CoBFormer.
• Abstract（参考訳）: Graph Transformerは、そのグローバルなアテンションメカニズムのため、グラフ構造化データを扱うための新しいツールとして登場した。 グローバルアテンション機構が完全に連結されたグラフにおいてより広い受容場を考慮していることはよく知られており、多くの人が有用な情報を全てのノードから抽出できると考えている。 本稿では,グローバル化プロパティが常にグラフトランスフォーマーに利益をもたらすかという,この信念に挑戦する。 グラフトランスフォーマーにおける過剰なグローバル化問題は,経験的エビデンスと理論的解析の両方を提示することにより明らかにする。すなわち,現在の注意機構は,これらの遠隔ノードに過度に焦点を絞っているのに対して,近いノードは実際には有用な情報のほとんどを含むが,比較的弱っている。 次に, クラスタ間およびクラスタ内変換器を含む協調学習用バイレベルグローバルグラフトランス (CoBFormer) を提案する。 さらに,理論的保証によりモデルの一般化能力を向上させるための協調学習を提案する。 各種グラフに対する大規模な実験は,提案したCoBFormerの有効性をよく検証する。

関連論文リスト

• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• Graph Triple Attention Network: A Decoupled Perspective [8.958483386270638]
  グラフトランスフォーマーは、マルチビューカオスとローカルグローバルカオスの2つの主要な課題に直面している。 我々は、GTの高レベルな分離された視点を提案し、それらを3つのコンポーネントと2つの相互作用レベルに分解する。 DeGTAというグラフトリプルアテンションネットワークを設計し、多視点アテンションを別々に計算し、多視点ローカルおよびグローバル情報を適応的に統合する。
  論文  参考訳（メタデータ） (2024-08-14T16:29:07Z)
• Learning a Mini-batch Graph Transformer via Two-stage Interaction Augmentation [34.969019293698885]
  Mini-batch Graph Transformer (MGT) は、半教師付きノード予測タスクにおいて大きな利点を示している。 各ミニバッチにおけるノード数の制限は、グラフのグローバルな特性を捉えるためのモデルの容量を制限する。 LGMformerは,2段階の拡張現実戦略を取り入れた新しいMGTモデルである。
  論文  参考訳（メタデータ） (2024-07-13T14:42:22Z)
• Masked Graph Transformer for Large-Scale Recommendation [56.37903431721977]
  本稿では, MGFormer という名前の効率的な Masked Graph Transformer を提案する。 実験の結果,単一注意層でもMGFormerの優れた性能が得られた。
  論文  参考訳（メタデータ） (2024-05-07T06:00:47Z)
• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• Hybrid Focal and Full-Range Attention Based Graph Transformers [0.0]
  本稿では,Focal と Full-Range Graph Transformer (FFGT) という,純粋に注目に基づくアーキテクチャを提案する。 FFGTは、従来のフルレンジアテンションとエゴネットへのKホップアテンションを組み合わせることで、グローバル情報とローカル情報の両方を集約する。 提案手法は,各種オープンデータセット上での既存のグラフ変換器の性能を向上させる。
  論文  参考訳（メタデータ） (2023-11-08T12:53:07Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• Graph Representation Learning via Contrasting Cluster Assignments [57.87743170674533]
  GRCCAと呼ばれるクラスタ割り当てを対比して、教師なしグラフ表現モデルを提案する。 クラスタリングアルゴリズムとコントラスト学習を組み合わせることで、局所的およびグローバルな情報を合成的にうまく活用する動機付けがある。 GRCCAは、ほとんどのタスクにおいて強力な競争力を持っている。
  論文  参考訳（メタデータ） (2021-12-15T07:28:58Z)
• Graph Representation Learning via Graphical Mutual Information Maximization [86.32278001019854]
  本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。 我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
  論文  参考訳（メタデータ） (2020-02-04T08:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。