論文の概要: Exploring Sparsity in Graph Transformers
- arxiv url: http://arxiv.org/abs/2312.05479v1
- Date: Sat, 9 Dec 2023 06:21:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 20:35:10.118765
- Title: Exploring Sparsity in Graph Transformers
- Title（参考訳）: グラフトランスフォーマーにおけるスパーシティの探求
- Authors: Chuang Liu, Yibing Zhan, Xueqi Ma, Liang Ding, Dapeng Tao, Jia Wu,
Wenbin Hu, Bo Du
- Abstract要約: グラフ変換器(GT)は、様々なグラフ関連タスクにおいて印象的な結果を得た。
しかし、GTsの膨大な計算コストは、特に資源制約のある環境でのデプロイメントと応用を妨げる。
我々は、GTの計算複雑性を低減するのに役立つ、包括的な textbfGraph textbfTransformer textbfSParsification (GTSP) フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 67.48149404841925
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Transformers (GTs) have achieved impressive results on various
graph-related tasks. However, the huge computational cost of GTs hinders their
deployment and application, especially in resource-constrained environments.
Therefore, in this paper, we explore the feasibility of sparsifying GTs, a
significant yet under-explored topic. We first discuss the redundancy of GTs
based on the characteristics of existing GT models, and then propose a
comprehensive \textbf{G}raph \textbf{T}ransformer \textbf{SP}arsification
(GTSP) framework that helps to reduce the computational complexity of GTs from
four dimensions: the input graph data, attention heads, model layers, and model
weights. Specifically, GTSP designs differentiable masks for each individual
compressible component, enabling effective end-to-end pruning. We examine our
GTSP through extensive experiments on prominent GTs, including GraphTrans,
Graphormer, and GraphGPS. The experimental results substantiate that GTSP
effectively cuts computational costs, accompanied by only marginal decreases in
accuracy or, in some cases, even improvements. For instance, GTSP yields a
reduction of 30\% in Floating Point Operations while contributing to a 1.8\%
increase in Area Under the Curve accuracy on OGBG-HIV dataset. Furthermore, we
provide several insights on the characteristics of attention heads and the
behavior of attention mechanisms, all of which have immense potential to
inspire future research endeavors in this domain.
- Abstract（参考訳）: グラフ変換器(GT)は、様々なグラフ関連タスクにおいて印象的な結果を得た。
しかし、GTsの膨大な計算コストは、特に資源制約のある環境でのデプロイメントと応用を妨げる。
そこで,本稿では,未探索の重要トピックであるスパーシフィケーションGTの実現可能性について検討する。
まず、既存のGTモデルの特徴に基づいてGTの冗長性を議論し、入力グラフデータ、アテンションヘッド、モデルレイヤー、モデルウェイトといったGTの計算複雑性を4次元から低減するのに役立つ包括的 \textbf{G}raph \textbf{T}ransformer \textbf{SP}arsification (GTSP) フレームワークを提案する。
具体的には、GTSPは各圧縮可能なコンポーネントごとに異なるマスクを設計し、効率的なエンドツーエンドのプルーニングを可能にする。
我々はGTSPについて,GraphTrans,Graphormer,GraphGPSなどの著名なGTの広範な実験を通して検討する。
実験の結果、GTSPは計算コストを効果的に削減し、精度が限界に低下したり、場合によっては改善される。
例えば、GTSPは浮動小数点演算において30\%の削減を達成し、OGBG-HIVデータセット上の曲線精度の下での面積の1.8\%の増加に貢献している。
さらに,この領域における今後の研究を刺激する大きな可能性を秘めている,注意頭の特徴と注意機構の挙動について,いくつかの知見を提供する。
関連論文リスト
- A Scalable and Effective Alternative to Graph Transformers [19.018320937729264]
グラフ変換器(GT)が導入された。
GTは、グラフ内のノード数の複雑さに悩まされ、大きなグラフに適用できなくなる。
GTに代わるスケーラブルで効果的なグラフ拡張コンテキスト演算子(GECO)を提案する。
論文 参考訳（メタデータ） (2024-06-17T19:57:34Z) - Gradformer: Graph Transformer with Exponential Decay [69.50738015412189]
グラフ変換器(GT)の自己保持機構は、グラフの帰納バイアス、特に構造に関するバイアスを見落としている。
本稿では,GTと本質的帰納バイアスを革新的に統合するGradformerを提案する。
GradformerはグラフニューラルネットワークやGTベースラインモデルよりも、さまざまなグラフ分類や回帰タスクにおいて一貫して優れています。
論文 参考訳（メタデータ） (2024-04-24T08:37:13Z) - SGHormer: An Energy-Saving Graph Transformer Driven by Spikes [32.30349324856102]
強力な表現学習能力を持つグラフトランスフォーマー(GT)は、幅広いグラフタスクで大きな成功を収めている。
GTの優れた性能の背後にあるコストは、より高いエネルギー消費と計算オーバーヘッドである。
メモリと計算コストを削減できる新しいスパイキング型グラフトランス (SGHormer) を提案する。
論文 参考訳（メタデータ） (2024-03-26T12:39:02Z) - Key-Graph Transformer for Image Restoration [122.7334034968327]
本稿ではキーグラフ変換器(KGT)について紹介する。
提案したキーグラフコンストラクタは、すべてのノードの代わりに必須ノードを選択的に接続することにより、スパースだが代表的なキーグラフを効率的に形成する。
論文 参考訳（メタデータ） (2024-02-04T23:00:24Z) - Graph Transformers for Large Graphs [57.19338459218758]
この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。
この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。
ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
論文 参考訳（メタデータ） (2023-12-18T11:19:23Z) - SGFormer: Simplifying and Empowering Transformers for Large-Graph
Representations [78.97396248946174]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。
提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。
提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文 参考訳（メタデータ） (2023-06-19T08:03:25Z) - HINormer: Representation Learning On Heterogeneous Information Networks
with Graph Transformer [29.217820912610602]
グラフトランスフォーマー(GT)は、グラフ全体にわたってもメッセージパッシングがより広範なカバレッジに伝達できるパラダイムで機能する。
ヘテロジニアス情報ネットワーク(HIN)におけるGTの探索はまだ未公開である。
本稿では,ノード表現学習のための大域集約機構を利用するHINormerという新しいモデルを提案する。
論文 参考訳（メタデータ） (2023-02-22T12:25:07Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。