論文の概要: AGFormer: Efficient Graph Representation with Anchor-Graph Transformer

• arxiv url: http://arxiv.org/abs/2305.07521v1
• Date: Fri, 12 May 2023 14:35:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-15 12:30:38.237005
• Title: AGFormer: Efficient Graph Representation with Anchor-Graph Transformer
• Title（参考訳）: AGFormer: Anchor-Graph Transformerを使った効率的なグラフ表現
• Authors: Bo Jiang, Fei Xu, Ziyan Zhang, Jin Tang and Feiping Nie
• Abstract要約: Anchor Graph Transformer (AGFormer) と呼ばれる新しいグラフトランスアーキテクチャを提案する。 AGFormerはまずいくつかの代表アンカーを取得し、次にノード間メッセージパッシングをアンカー間メッセージパッシングプロセスとアンカー間メッセージパッシングプロセスに変換する。 いくつかのベンチマークデータセットに対する大規模な実験は、提案されたAGFormerの有効性とメリットを示している。
• 参考スコア（独自算出の注目度）: 95.1825252182316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To alleviate the local receptive issue of GCN, Transformers have been exploited to capture the long range dependences of nodes for graph data representation and learning. However, existing graph Transformers generally employ regular self-attention module for all node-to-node message passing which needs to learn the affinities/relationships between all node's pairs, leading to high computational cost issue. Also, they are usually sensitive to graph noises. To overcome this issue, we propose a novel graph Transformer architecture, termed Anchor Graph Transformer (AGFormer), by leveraging an anchor graph model. To be specific, AGFormer first obtains some representative anchors and then converts node-to-node message passing into anchor-to-anchor and anchor-to-node message passing process. Thus, AGFormer performs much more efficiently and also robustly than regular node-to-node Transformers. Extensive experiments on several benchmark datasets demonstrate the effectiveness and benefits of proposed AGFormer.
• Abstract（参考訳）: GCNの局所受容問題を緩和するため、Transformerはグラフデータ表現と学習のためのノードの長距離依存をキャプチャするために利用される。 しかし、既存のグラフトランスフォーマーは、ノード対ノードのメッセージパッシングに通常の自己アテンションモジュールを使用し、全てのノード対間の親和性や関係性を学習する必要があるため、計算コストが高くなる。 また、通常はグラフノイズに敏感である。 この問題を解決するために,アンカーグラフモデルを利用した新しいグラフトランスフォーマーアーキテクチャ,Anchor Graph Transformer (AGFormer)を提案する。 具体的には、agformerはまずいくつかの代表的アンカーを取得し、次にnode-to-nodeメッセージパッシングをanchorおよびanchor-to-nodeメッセージパッシングプロセスに変換する。 したがって、AGFormerは通常のノード間変換よりも効率的で堅牢である。 いくつかのベンチマークデータセットに対する大規模な実験は、提案されたAGFormerの有効性とメリットを示している。

関連論文リスト

• Leveraging Contrastive Learning for Enhanced Node Representations in Tokenized Graph Transformers [14.123432611346674]
  我々はGCFormerと呼ばれる新しいグラフ変換器を提案し、最適なノード表現の学習にグラフ情報を利用する。 GCFormerはハイブリッドトークンジェネレータを開発し、正と負の2種類のトークンシーケンスを生成し、多様なグラフ情報をキャプチャする。 これらの生成されたトークンシーケンスから意味のあるノード表現を学習するために、カスタマイズされたTransformerベースのバックボーンが採用されている。
  論文  参考訳（メタデータ） (2024-06-27T15:29:47Z)
• NTFormer: A Composite Node Tokenized Graph Transformer for Node Classification [11.451341325579188]
  我々はNTFormerと呼ばれる新しいグラフ変換器を提案し,ノード分類問題に対処する。 Node2Parと呼ばれる新しいトークンジェネレータは、各ノードごとに異なるトークン要素を使用してさまざまなトークンシーケンスを生成する。 様々なベンチマークデータセットで行った実験は、ノード分類のための代表グラフ変換器やグラフニューラルネットワークよりもNTFormerの方が優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-27T15:16:00Z)
• Masked Graph Transformer for Large-Scale Recommendation [56.37903431721977]
  本稿では, MGFormer という名前の効率的な Masked Graph Transformer を提案する。 実験の結果,単一注意層でもMGFormerの優れた性能が得られた。
  論文  参考訳（メタデータ） (2024-05-07T06:00:47Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Pure Transformers are Powerful Graph Learners [51.36884247453605]
  グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。 このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。 提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
  論文  参考訳（メタデータ） (2022-07-06T08:13:06Z)
• NAGphormer: Neighborhood Aggregation Graph Transformer for Node Classification in Large Graphs [10.149586598073421]
  本研究では,数百万のノードを持つ大規模グラフに対してスケーラブルなNAGphormer(Neighborhood Aggregation Graph Transformer)を提案する。 NAGphormerはHop2Tokenと呼ばれる近隣アグリゲーションモジュールによって各ノードのトークンを構成する。 6つの小さなデータセットと3つの大きなデータセットを含む、さまざまな人気のあるベンチマークで広範な実験を行います。
  論文  参考訳（メタデータ） (2022-06-10T07:23:51Z)
• Gransformer: Transformer-based Graph Generation [14.161975556325796]
  Gransformerは、グラフを生成するためのTransformerに基づくアルゴリズムである。 我々は、与えられたグラフの構造情報を利用するためにTransformerエンコーダを変更する。 また、ノードペア間のグラフベースの親しみ度尺度も導入する。
  論文  参考訳（メタデータ） (2022-03-25T14:05:12Z)
• Graph Highway Networks [77.38665506495553]
  グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。 彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。 本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-09T16:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。