論文の概要: SGHormer: An Energy-Saving Graph Transformer Driven by Spikes

• arxiv url: http://arxiv.org/abs/2403.17656v1
• Date: Tue, 26 Mar 2024 12:39:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 15:27:36.589817
• Title: SGHormer: An Energy-Saving Graph Transformer Driven by Spikes
• Title（参考訳）: SGHormer:スパイクス駆動の省エネグラフトランス
• Authors: Huizhe Zhang, Jintang Li, Liang Chen, Zibin Zheng,
• Abstract要約: 強力な表現学習能力を持つグラフトランスフォーマー(GT)は、幅広いグラフタスクで大きな成功を収めている。 GTの優れた性能の背後にあるコストは、より高いエネルギー消費と計算オーバーヘッドである。 メモリと計算コストを削減できる新しいスパイキング型グラフトランス (SGHormer) を提案する。
• 参考スコア（独自算出の注目度）: 32.30349324856102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Transformers (GTs) with powerful representation learning ability make a huge success in wide range of graph tasks. However, the costs behind outstanding performances of GTs are higher energy consumption and computational overhead. The complex structure and quadratic complexity during attention calculation in vanilla transformer seriously hinder its scalability on the large-scale graph data. Though existing methods have made strides in simplifying combinations among blocks or attention-learning paradigm to improve GTs' efficiency, a series of energy-saving solutions originated from biologically plausible structures are rarely taken into consideration when constructing GT framework. To this end, we propose a new spiking-based graph transformer (SGHormer). It turns full-precision embeddings into sparse and binarized spikes to reduce memory and computational costs. The spiking graph self-attention and spiking rectify blocks in SGHormer explicitly capture global structure information and recover the expressive power of spiking embeddings, respectively. In experiments, SGHormer achieves comparable performances to other full-precision GTs with extremely low computational energy consumption. The results show that SGHomer makes a remarkable progress in the field of low-energy GTs.
• Abstract（参考訳）: 強力な表現学習能力を持つグラフトランスフォーマー(GT)は、幅広いグラフタスクで大きな成功を収めている。 しかしながら、GTの卓越した性能の背後にあるコストは、エネルギー消費と計算オーバーヘッドの増大である。 バニラ変圧器の注意計算における複雑な構造と二次的複雑さは、大規模なグラフデータにそのスケーラビリティを著しく妨げている。 従来の手法では,GTの効率を向上させるため,ブロック間の組み合わせや注目学習パラダイムを簡素化する努力が続けられているが,GTフレームワークを構築する際には,生物学的に妥当な構造から生じる一連の省エネルギーソリューションが考慮されることは稀である。 そこで本研究では,新しいスパイキング型グラフトランス (SGHormer) を提案する。 完全精度の埋め込みをスパースでバイナライズされたスパイクに変えて、メモリと計算コストを削減する。 SGHormerのスパイキンググラフ自己アテンションおよびスパイキング整流ブロックは、グローバルな構造情報を明示的に捕捉し、スパイキング埋め込みの表現力をそれぞれ回復する。 実験では、SGHormerは計算エネルギーの消費が極端に少ない他の完全精度のGTに匹敵する性能を達成する。 その結果,SGHomerは低エネルギーGTの分野で著しく進歩していることがわかった。

関連論文リスト

• A Scalable and Effective Alternative to Graph Transformers [19.018320937729264]
  グラフ変換器(GT)が導入された。 GTは、グラフ内のノード数の複雑さに悩まされ、大きなグラフに適用できなくなる。 GTに代わるスケーラブルで効果的なグラフ拡張コンテキスト演算子(GECO)を提案する。
  論文  参考訳（メタデータ） (2024-06-17T19:57:34Z)
• Automatic Graph Topology-Aware Transformer [50.2807041149784]
  マイクロレベルおよびマクロレベルの設計による包括的グラフトランスフォーマー検索空間を構築した。 EGTASはマクロレベルでのグラフトランスフォーマートポロジとマイクロレベルでのグラフ認識戦略を進化させる。 グラフレベルおよびノードレベルのタスクに対して,EGTASの有効性を示す。
  論文  参考訳（メタデータ） (2024-05-30T07:44:31Z)
• AnchorGT: Efficient and Flexible Attention Architecture for Scalable Graph Transformers [35.04198789195943]
  グラフ変換器(GT)のための新しいアテンションアーキテクチャであるAnchorGTを提案する。 アンカーベースGNNにインスパイアされ、構造的に重要な$k$支配ノードセットをアンカーとして採用し、個々のノードとアンカーの関係に着目したアテンションメカニズムを設計する。 直感的な設計により、AnchorGTは様々なGTモデルのアテンションモジュールを異なるネットワークアーキテクチャで簡単に置き換えることができる。
  論文  参考訳（メタデータ） (2024-05-06T13:53:09Z)
• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• Exploring Sparsity in Graph Transformers [67.48149404841925]
  グラフ変換器(GT)は、様々なグラフ関連タスクにおいて印象的な結果を得た。 しかし、GTsの膨大な計算コストは、特に資源制約のある環境でのデプロイメントと応用を妨げる。 我々は、GTの計算複雑性を低減するのに役立つ、包括的な textbfGraph textbfTransformer textbfSParsification (GTSP) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-09T06:21:44Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [78.97396248946174]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• Hierarchical Transformer for Scalable Graph Learning [22.462712609402324]
  Graph Transformerは、グラフ表現学習のためのベンチマークで最先端のパフォーマンスを実証した。 グローバルな自己認識機構の複雑さは、より大きなグラフに適用する際のフルバッチトレーニングの課題となる。 これらの課題に対する解決策として,階層型スケーラブルグラフ変換器(HSGT)を紹介した。 HSGTはTransformerアーキテクチャを大規模グラフ上でノード表現学習タスクに拡張し、高い性能を維持している。
  論文  参考訳（メタデータ） (2023-05-04T14:23:22Z)
• What Dense Graph Do You Need for Self-Attention? [73.82686008622596]
  我々はハイパーキューブにおけるトークンインタラクションをモデル化し、バニラ変換器と同等あるいはそれ以上の結果を示すスパーストランスフォーマーHypercube Transformerを提案する。 様々なシーケンス長を必要とするタスクの実験は、グラフ関数の検証をうまく行いました。
  論文  参考訳（メタデータ） (2022-05-27T14:36:55Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。