論文の概要: AGFormer: Efficient Graph Representation with Anchor-Graph Transformer
- arxiv url: http://arxiv.org/abs/2305.07521v1
- Date: Fri, 12 May 2023 14:35:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-15 12:30:38.237005
- Title: AGFormer: Efficient Graph Representation with Anchor-Graph Transformer
- Title(参考訳): AGFormer: Anchor-Graph Transformerを使った効率的なグラフ表現
- Authors: Bo Jiang, Fei Xu, Ziyan Zhang, Jin Tang and Feiping Nie
- Abstract要約: Anchor Graph Transformer (AGFormer) と呼ばれる新しいグラフトランスアーキテクチャを提案する。
AGFormerはまずいくつかの代表アンカーを取得し、次にノード間メッセージパッシングをアンカー間メッセージパッシングプロセスとアンカー間メッセージパッシングプロセスに変換する。
いくつかのベンチマークデータセットに対する大規模な実験は、提案されたAGFormerの有効性とメリットを示している。
- 参考スコア(独自算出の注目度): 95.1825252182316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To alleviate the local receptive issue of GCN, Transformers have been
exploited to capture the long range dependences of nodes for graph data
representation and learning. However, existing graph Transformers generally
employ regular self-attention module for all node-to-node message passing which
needs to learn the affinities/relationships between all node's pairs, leading
to high computational cost issue. Also, they are usually sensitive to graph
noises. To overcome this issue, we propose a novel graph Transformer
architecture, termed Anchor Graph Transformer (AGFormer), by leveraging an
anchor graph model. To be specific, AGFormer first obtains some representative
anchors and then converts node-to-node message passing into anchor-to-anchor
and anchor-to-node message passing process. Thus, AGFormer performs much more
efficiently and also robustly than regular node-to-node Transformers. Extensive
experiments on several benchmark datasets demonstrate the effectiveness and
benefits of proposed AGFormer.
- Abstract(参考訳): GCNの局所受容問題を緩和するため、Transformerはグラフデータ表現と学習のためのノードの長距離依存をキャプチャするために利用される。
しかし、既存のグラフトランスフォーマーは、ノード対ノードのメッセージパッシングに通常の自己アテンションモジュールを使用し、全てのノード対間の親和性や関係性を学習する必要があるため、計算コストが高くなる。
また、通常はグラフノイズに敏感である。
この問題を解決するために,アンカーグラフモデルを利用した新しいグラフトランスフォーマーアーキテクチャ,Anchor Graph Transformer (AGFormer)を提案する。
具体的には、agformerはまずいくつかの代表的アンカーを取得し、次にnode-to-nodeメッセージパッシングをanchorおよびanchor-to-nodeメッセージパッシングプロセスに変換する。
したがって、AGFormerは通常のノード間変換よりも効率的で堅牢である。
いくつかのベンチマークデータセットに対する大規模な実験は、提案されたAGFormerの有効性とメリットを示している。
関連論文リスト
- SignGT: Signed Attention-based Graph Transformer for Graph
Representation Learning [15.248591535696146]
本稿では,グラフから様々な周波数情報を適応的に取得するSigned Attention-based Graph Transformer (SignGT)を提案する。
具体的には、SignGTは、ノードペアの意味的関連性に応じて署名された注意値を生成する、署名付き自己注意機構(SignSA)を新たに開発した。
論文 参考訳(メタデータ) (2023-10-17T06:42:11Z) - SGFormer: Simplifying and Empowering Transformers for Large-Graph
Representations [78.97396248946174]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。
提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。
提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文 参考訳(メタデータ) (2023-06-19T08:03:25Z) - Graph Propagation Transformer for Graph Representation Learning [32.77379936182841]
グラフ伝搬注意(GPA)と呼ばれる新しい注意機構を提案する。
ノード・ツー・ノード、ノード・ツー・エッジ、エッジ・ツー・ノードという3つの方法で、ノードとエッジ間で明示的に情報を渡す。
提案手法は,多くの最先端のトランスフォーマーベースグラフモデルよりも優れた性能を有することを示す。
論文 参考訳(メタデータ) (2023-05-19T04:42:58Z) - Seq-HGNN: Learning Sequential Node Representation on Heterogeneous Graph [57.2953563124339]
本稿では,シーケンシャルノード表現,すなわちSeq-HGNNを用いた新しい異種グラフニューラルネットワークを提案する。
Heterogeneous Graph Benchmark (HGB) と Open Graph Benchmark (OGB) の4つの広く使われているデータセットについて広範な実験を行った。
論文 参考訳(メタデータ) (2023-05-18T07:27:18Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳(メタデータ) (2022-09-20T14:41:37Z) - Pure Transformers are Powerful Graph Learners [51.36884247453605]
グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。
このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。
提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
論文 参考訳(メタデータ) (2022-07-06T08:13:06Z) - Deformable Graph Transformer [31.254872949603982]
本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。
実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
論文 参考訳(メタデータ) (2022-06-29T00:23:25Z) - NAGphormer: Neighborhood Aggregation Graph Transformer for Node
Classification in Large Graphs [10.149586598073421]
本研究では,数百万のノードを持つ大規模グラフに対してスケーラブルなNAGphormer(Neighborhood Aggregation Graph Transformer)を提案する。
NAGphormerはHop2Tokenと呼ばれる近隣アグリゲーションモジュールによって各ノードのトークンを構成する。
6つの小さなデータセットと3つの大きなデータセットを含む、さまざまな人気のあるベンチマークで広範な実験を行います。
論文 参考訳(メタデータ) (2022-06-10T07:23:51Z) - Graph Highway Networks [77.38665506495553]
グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。
彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。
本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
論文 参考訳(メタデータ) (2020-04-09T16:26:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。