論文の概要: Less is More: on the Over-Globalizing Problem in Graph Transformers

• arxiv url: http://arxiv.org/abs/2405.01102v1
• Date: Thu, 2 May 2024 09:12:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 17:13:51.775441
• Title: Less is More: on the Over-Globalizing Problem in Graph Transformers
• Title（参考訳）: グラフ変換器のオーバーグローバル化問題について
• Authors: Yujie Xing, Xiao Wang, Yibo Li, Hai Huang, Chuan Shi,
• Abstract要約: グローバルアテンション機構は、完全に連結されたグラフにおいてより広い受容場を考慮し、多くの人が有用な情報を全てのノードから抽出できると考えている。 現在の注意機構は,これらの遠隔ノードに過度に焦点を絞っているのに対して,その近辺ノードは実際には有用な情報の大半を包含しているため,比較的弱体化している。 本稿では,コラボレーティブ・トレーニング(CoBFormer)を用いたバイレベル・グローバルグラフ変換器を提案する。
• 参考スコア（独自算出の注目度）: 34.52455014631614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Transformer, due to its global attention mechanism, has emerged as a new tool in dealing with graph-structured data. It is well recognized that the global attention mechanism considers a wider receptive field in a fully connected graph, leading many to believe that useful information can be extracted from all the nodes. In this paper, we challenge this belief: does the globalizing property always benefit Graph Transformers? We reveal the over-globalizing problem in Graph Transformer by presenting both empirical evidence and theoretical analysis, i.e., the current attention mechanism overly focuses on those distant nodes, while the near nodes, which actually contain most of the useful information, are relatively weakened. Then we propose a novel Bi-Level Global Graph Transformer with Collaborative Training (CoBFormer), including the inter-cluster and intra-cluster Transformers, to prevent the over-globalizing problem while keeping the ability to extract valuable information from distant nodes. Moreover, the collaborative training is proposed to improve the model's generalization ability with a theoretical guarantee. Extensive experiments on various graphs well validate the effectiveness of our proposed CoBFormer.
• Abstract（参考訳）: Graph Transformerは、そのグローバルなアテンションメカニズムのため、グラフ構造化データを扱うための新しいツールとして登場した。 グローバルアテンション機構が完全に連結されたグラフにおいてより広い受容場を考慮していることはよく知られており、多くの人が有用な情報を全てのノードから抽出できると考えている。 本稿では,グローバル化プロパティが常にグラフトランスフォーマーに利益をもたらすかという,この信念に挑戦する。 グラフトランスフォーマーにおける過剰なグローバル化問題は,経験的エビデンスと理論的解析の両方を提示することにより明らかにする。すなわち,現在の注意機構は,これらの遠隔ノードに過度に焦点を絞っているのに対して,近いノードは実際には有用な情報のほとんどを含むが,比較的弱っている。 次に, クラスタ間およびクラスタ内変換器を含む協調学習用バイレベルグローバルグラフトランス (CoBFormer) を提案する。 さらに,理論的保証によりモデルの一般化能力を向上させるための協調学習を提案する。 各種グラフに対する大規模な実験は,提案したCoBFormerの有効性をよく検証する。

関連論文リスト

• Learning a Mini-batch Graph Transformer via Two-stage Interaction Augmentation [34.969019293698885]
  Mini-batch Graph Transformer (MGT) は、半教師付きノード予測タスクにおいて大きな利点を示している。 各ミニバッチにおけるノード数の制限は、グラフのグローバルな特性を捉えるためのモデルの容量を制限する。 LGMformerは,2段階の拡張現実戦略を取り入れた新しいMGTモデルである。
  論文  参考訳（メタデータ） (2024-07-13T14:42:22Z)
• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• Hybrid Focal and Full-Range Attention Based Graph Transformers [0.0]
  本稿では,Focal と Full-Range Graph Transformer (FFGT) という,純粋に注目に基づくアーキテクチャを提案する。 FFGTは、従来のフルレンジアテンションとエゴネットへのKホップアテンションを組み合わせることで、グローバル情報とローカル情報の両方を集約する。 提案手法は,各種オープンデータセット上での既存のグラフ変換器の性能を向上させる。
  論文  参考訳（メタデータ） (2023-11-08T12:53:07Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [78.97396248946174]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
  我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。 非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
  論文  参考訳（メタデータ） (2023-05-29T04:51:09Z)
• Graph Transformer GANs for Graph-Constrained House Generation [223.739067413952]
  本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。 GTGANは、グラフ制約のある住宅生成タスクにおいて、エンドツーエンドで効率的なグラフノード関係を学習する。
  論文  参考訳（メタデータ） (2023-03-14T20:35:45Z)
• Augmenting Knowledge Transfer across Graphs [16.50013525404218]
  本稿では,グラフ間の知識伝達を増強する汎用学習フレームワークであるTransNETを紹介する。 特に、様々なグラフ信号を異なる粒度で自然に定式化できるトリニティ信号という新しい概念を導入する。 TransNETは7つのベンチマークデータセットに対する既存のアプローチを、大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-12-09T08:46:02Z)
• Graph Representation Learning via Contrasting Cluster Assignments [57.87743170674533]
  GRCCAと呼ばれるクラスタ割り当てを対比して、教師なしグラフ表現モデルを提案する。 クラスタリングアルゴリズムとコントラスト学習を組み合わせることで、局所的およびグローバルな情報を合成的にうまく活用する動機付けがある。 GRCCAは、ほとんどのタスクにおいて強力な競争力を持っている。
  論文  参考訳（メタデータ） (2021-12-15T07:28:58Z)
• Edge-augmented Graph Transformers: Global Self-attention is Enough for Graphs [24.796242917673755]
  本稿では,変圧器の残差エッジチャネルに対する簡易かつ強力な拡張を提案する。 結果として得られるフレームワークは、Edge-augmented Graph Transformer (EGT)と呼ばれ、ノード情報だけでなく、構造情報を直接受け入れ、処理し、出力することができる。 我々のフレームワークはグローバルノードの特徴集約に依存しており、グラフ畳み込みネットワーク(GCN)よりも優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2021-08-07T02:18:11Z)
• Graph Representation Learning via Graphical Mutual Information Maximization [86.32278001019854]
  本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。 我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
  論文  参考訳（メタデータ） (2020-02-04T08:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。