論文の概要: Optimizing Graph Transformer Networks with Graph-based Techniques
- arxiv url: http://arxiv.org/abs/2106.08500v1
- Date: Wed, 16 Jun 2021 00:54:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-17 17:27:48.151168
- Title: Optimizing Graph Transformer Networks with Graph-based Techniques
- Title（参考訳）: グラフベース手法によるグラフトランスフォーマーネットワークの最適化
- Authors: Loc Hoang and Udit Agarwal and Gurbinder Gill and Roshan Dathathri and
Abhik Seal and Brian Martin and Keshav Pingali
- Abstract要約: グラフトランス (GTN) は、グラフ畳み込みネットワーク (GCN) の変種である。
GTNはグラフの重要なメタパスを学習し、これらのメタパスの重み付けされたエッジを作成し、その結果のグラフをGCNで使用する。
本稿ではGTNメタパス探索問題のグラフに基づく定式化と実装について述べる。
- 参考スコア（独自算出の注目度）: 0.9697877942346909
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph transformer networks (GTN) are a variant of graph convolutional
networks (GCN) that are targeted to heterogeneous graphs in which nodes and
edges have associated type information that can be exploited to improve
inference accuracy. GTNs learn important metapaths in the graph, create
weighted edges for these metapaths, and use the resulting graph in a GCN.
Currently, the only available implementation of GTNs uses dense matrix
multiplication to find metapaths. Unfortunately, the space overhead of this
approach can be large, so in practice it is used only for small graphs. In
addition, the matrix-based implementation is not fine-grained enough to use
random-walk based methods to optimize metapath finding. In this paper, we
present a graph-based formulation and implementation of the GTN metapath
finding problem. This graph-based formulation has two advantages over the
matrix-based approach. First, it is more space efficient than the original GTN
implementation and more compute-efficient for metapath sizes of practical
interest. Second, it permits us to implement a sampling method that reduces the
number of metapaths that must be enumerated, allowing the implementation to be
used for larger graphs and larger metapath sizes. Experimental results show
that our implementation is $6.5\times$ faster than the original GTN
implementation on average for a metapath length of 4, and our sampling
implementation is $155\times$ faster on average than this implementation
without compromising on the accuracy of the GTN.
- Abstract（参考訳）: グラフ変換器ネットワーク(GTN)は、ノードとエッジが関連する型情報を持ち、推論精度を向上させるために利用することができる異種グラフをターゲットにしたグラフ畳み込みネットワーク(GCN)の変種である。
gtnはグラフの重要なメタパスを学び、これらのメタパスの重み付けされたエッジを作成し、gcnでグラフを使用する。
現在、gtnsの唯一の実装は、メタパスを見つけるために密度行列の乗算を用いる。
残念ながら、このアプローチの空間オーバーヘッドは大きい可能性があるので、実際には小さなグラフでのみ使用される。
さらに、マトリックスベースの実装は、メタパス探索を最適化するためにランダムウォークベースのメソッドを使用するのに十分な細粒度ではない。
本稿では,GTNメタパス探索問題のグラフに基づく定式化と実装について述べる。
このグラフベースの定式化は行列ベースのアプローチよりも2つの利点がある。
第一に、元のGTN実装よりも空間効率が良く、実用的なメタパスサイズでは計算効率が良い。
第二に、列挙しなければならないメタパスの数を削減し、より大きなグラフとより大きなメタパスサイズに実装を使用できるサンプリングメソッドを実装することができる。
実験結果から,本実装はメタパス長4のGTN実装よりも平均6.5\times$高速であり,サンプリング実装はGTNの精度を損なうことなく,この実装よりも平均155\times$高速であることがわかった。
関連論文リスト
- A Flexible, Equivariant Framework for Subgraph GNNs via Graph Products and Graph Coarsening [18.688057947275112]
グラフグラフニューラルネットワーク(サブグラフGNN)は,グラフをサブグラフの集合として表現することで,メッセージパスGNNの表現性を向上する。
以前のアプローチでは、ランダムにまたは学習可能なサンプリングによって選択されたサブグラフのサブセットのみを処理することを提案していた。
本稿では,これらの問題に対処する新しいSubgraph GNNフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-13T16:29:06Z) - Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳（メタデータ） (2023-10-23T01:25:44Z) - GRAPES: Learning to Sample Graphs for Scalable Graph Neural Networks [2.4175455407547015]
グラフニューラルネットワークは、隣人からの情報を集約することでノードを表現することを学ぶ。
いくつかの既存手法では、ノードの小さなサブセットをサンプリングし、GNNをもっと大きなグラフにスケールすることで、この問題に対処している。
本稿では,GNNのトレーニングに不可欠なノードの集合を識別する適応サンプリング手法であるGRAPESを紹介する。
論文 参考訳（メタデータ） (2023-10-05T09:08:47Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - Graph Transformer Networks: Learning Meta-path Graphs to Improve GNNs [20.85042364993559]
本稿では,新しいグラフ構造を生成し,タスクに有用な接続を含むグラフトランスフォーマーネットワーク(GTN)を提案する。
Fast Graph Transformer Networks (FastGTNs) は230倍高速で、100倍少ないメモリを使用する。
グラフ変換を、メタパスを超えた非局所的な操作を可能にするノードの意味的近接に拡張する。
論文 参考訳（メタデータ） (2021-06-11T07:56:55Z) - R-GSN: The Relation-based Graph Similar Network for Heterogeneous Graph [5.2848965435713575]
本稿では、メタパスを必要としない一般的な異種メッセージパッシングパラダイムを提案し、R-GSNを設計する。
実験により,我々のR-GSNアルゴリズムはogbn-mag大規模不均一グラフデータセット上での最先端の性能を実現することが示された。
論文 参考訳（メタデータ） (2021-03-14T09:25:36Z) - A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。
グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文 参考訳（メタデータ） (2021-02-12T21:52:43Z) - Scalable Graph Neural Networks via Bidirectional Propagation [89.70835710988395]
グラフニューラルネットワーク(GNN)は、非ユークリッドデータを学習するための新興分野である。
本稿では、特徴ベクトルとトレーニング/テストノードの両方から局所的な双方向伝搬プロセスを利用するスケーラブルなGNNであるGBPを提案する。
実証実験により、GBPは、トレーニング/テスト時間を大幅に減らして最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2020-10-29T08:55:33Z) - Bi-GCN: Binary Graph Convolutional Network [57.733849700089955]
ネットワークパラメータと入力ノードの特徴を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。
我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均30倍のメモリ消費を削減でき、推論速度を平均47倍に加速できる。
論文 参考訳（メタデータ） (2020-10-15T07:26:23Z) - Pseudoinverse Graph Convolutional Networks: Fast Filters Tailored for
Large Eigengaps of Dense Graphs and Hypergraphs [0.0]
Graph Convolutional Networks (GCNs) は、グラフベースのデータセットで半教師付き分類を行うツールとして成功している。
本稿では,三部フィルタ空間が高密度グラフを対象とする新しいGCN変種を提案する。
論文 参考訳（メタデータ） (2020-08-03T08:48:41Z) - Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。
高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。
このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
論文 参考訳（メタデータ） (2020-07-03T09:30:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。