論文の概要: Learning a Mini-batch Graph Transformer via Two-stage Interaction Augmentation

• arxiv url: http://arxiv.org/abs/2407.09904v1
• Date: Sat, 13 Jul 2024 14:42:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 20:18:01.896040
• Title: Learning a Mini-batch Graph Transformer via Two-stage Interaction Augmentation
• Title（参考訳）: 2段階インタラクション拡張によるミニバッチグラフ変換器の学習
• Authors: Wenda Li, Kaixuan Chen, Shunyu Liu, Tongya Zheng, Wenjie Huang, Mingli Song,
• Abstract要約: Mini-batch Graph Transformer (MGT) は、半教師付きノード予測タスクにおいて大きな利点を示している。 各ミニバッチにおけるノード数の制限は、グラフのグローバルな特性を捉えるためのモデルの容量を制限する。 LGMformerは,2段階の拡張現実戦略を取り入れた新しいMGTモデルである。
• 参考スコア（独自算出の注目度）: 34.969019293698885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mini-batch Graph Transformer (MGT), as an emerging graph learning model, has demonstrated significant advantages in semi-supervised node prediction tasks with improved computational efficiency and enhanced model robustness. However, existing methods for processing local information either rely on sampling or simple aggregation, which respectively result in the loss and squashing of critical neighbor information.Moreover, the limited number of nodes in each mini-batch restricts the model's capacity to capture the global characteristic of the graph. In this paper, we propose LGMformer, a novel MGT model that employs a two-stage augmented interaction strategy, transitioning from local to global perspectives, to address the aforementioned bottlenecks.The local interaction augmentation (LIA) presents a neighbor-target interaction Transformer (NTIformer) to acquire an insightful understanding of the co-interaction patterns between neighbors and the target node, resulting in a locally effective token list that serves as input for the MGT. In contrast, global interaction augmentation (GIA) adopts a cross-attention mechanism to incorporate entire graph prototypes into the target node epresentation, thereby compensating for the global graph information to ensure a more comprehensive perception. To this end, LGMformer achieves the enhancement of node representations under the MGT paradigm.Experimental results related to node classification on the ten benchmark datasets demonstrate the effectiveness of the proposed method. Our code is available at https://github.com/l-wd/LGMformer.
• Abstract（参考訳）: グラフ学習モデルであるミニバッチグラフ変換器(MGT)は、計算効率の向上とモデルロバスト性の向上により、半教師付きノード予測タスクにおいて大きな利点を示してきた。 しかし,従来のローカル情報処理手法ではサンプリングや単純な集約に頼っているため,それぞれに重要な隣接情報の損失やスキャッシングが発生するため,各ミニバッチ内のノード数が制限されているため,グラフのグローバルな特性を捉えることができる。 本稿では,2段階のMGTモデルであるLGMformerを提案する。局所的相互作用拡張(LIA)により,近隣ノードと対象ノード間の相互作用パターンの理解を深め,MGTの入力として機能する局所的有効トークンリストを得る。 対照的に、GIA(Global Interaction Augmentation)は、グラフプロトタイプ全体を対象ノード表現に組み込むことで、グローバルグラフ情報の補償を行い、より包括的な認識を確実にするクロスアテンション機構を採用している。 この目的のために,LGMformerはMGTパラダイムに基づくノード表現の強化を実現し,提案手法の有効性を示す。 私たちのコードはhttps://github.com/l-wd/LGMformer.comから入手可能です。

関連論文リスト

• Improving Node Representation by Boosting Target-Aware Contrastive Loss [10.73390567832967]
  本稿では,ターゲット認識型コントラスト学習(Target-Aware Contrastive Learning,Target-Aware CL)を紹介する。 XTCLを最小化することにより、ターゲット認識CLは、ターゲットタスクとノード表現の間の相互情報を増加させる。 実験により、XTCLは2つのタスクの性能を著しく改善することを示した。
  論文  参考訳（メタデータ） (2024-10-04T20:08:24Z)
• Graph Transformer GANs with Graph Masked Modeling for Architectural Layout Generation [153.92387500677023]
  本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。 提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。 また,グラフ表現学習のための自己指導型事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T14:36:38Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• Graph Transformer GANs for Graph-Constrained House Generation [223.739067413952]
  本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。 GTGANは、グラフ制約のある住宅生成タスクにおいて、エンドツーエンドで効率的なグラフノード関係を学習する。
  論文  参考訳（メタデータ） (2023-03-14T20:35:45Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Graph Representation Learning via Contrasting Cluster Assignments [57.87743170674533]
  GRCCAと呼ばれるクラスタ割り当てを対比して、教師なしグラフ表現モデルを提案する。 クラスタリングアルゴリズムとコントラスト学習を組み合わせることで、局所的およびグローバルな情報を合成的にうまく活用する動機付けがある。 GRCCAは、ほとんどのタスクにおいて強力な競争力を持っている。
  論文  参考訳（メタデータ） (2021-12-15T07:28:58Z)
• GAIN: Graph Attention & Interaction Network for Inductive Semi-Supervised Learning over Large-scale Graphs [18.23435958000212]
  グラフニューラルネットワーク(GNN)は、推薦、ノード分類、リンク予測など、さまざまな機械学習タスクにおいて最先端のパフォーマンスを実現している。 既存のGNNモデルの多くは、隣接するノード情報を集約するために単一のタイプのアグリゲータを利用している。 本稿では,グラフ上の帰納学習のための新しいグラフニューラルネットワークアーキテクチャであるグラフ注意と相互作用ネットワーク(GAIN)を提案する。
  論文  参考訳（メタデータ） (2020-11-03T00:20:24Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。