論文の概要: Even Sparser Graph Transformers

• arxiv url: http://arxiv.org/abs/2411.16278v1
• Date: Mon, 25 Nov 2024 10:59:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:23:58.647385
• Title: Even Sparser Graph Transformers
• Title（参考訳）: Sparser グラフ変換器
• Authors: Hamed Shirzad, Honghao Lin, Balaji Venkatachalam, Ameya Velingker, David Woodruff, Danica Sutherland,
• Abstract要約: グラフ変換器は長距離依存モデリングに優れるが、一般的には入力グラフ内のノード数において二次記憶の複雑さを必要とする。 Exphormerのようなスパースアテンションの変種は役に立つが、優れたパフォーマンスを得るためには入力グラフに高次拡張を必要とする可能性がある。 本研究では,各種グラフデータセットのメモリ要求を大幅に削減することで,Spexphormerの性能が向上することを示す。
• 参考スコア（独自算出の注目度）: 6.298115235439078
• License:
• Abstract: Graph Transformers excel in long-range dependency modeling, but generally require quadratic memory complexity in the number of nodes in an input graph, and hence have trouble scaling to large graphs. Sparse attention variants such as Exphormer can help, but may require high-degree augmentations to the input graph for good performance, and do not attempt to sparsify an already-dense input graph. As the learned attention mechanisms tend to use few of these edges, such high-degree connections may be unnecessary. We show (empirically and with theoretical backing) that attention scores on graphs are usually quite consistent across network widths, and use this observation to propose a two-stage procedure, which we call Spexphormer: first, train a narrow network on the full augmented graph. Next, use only the active connections to train a wider network on a much sparser graph. We establish theoretical conditions when a narrow network's attention scores can match those of a wide network, and show that Spexphormer achieves good performance with drastically reduced memory requirements on various graph datasets.
• Abstract（参考訳）: グラフ変換器は長距離依存モデリングに優れるが、一般的には入力グラフ内のノード数において2次メモリの複雑さを必要とするため、大きなグラフへのスケーリングが困難である。 Exphormerのようなスパースアテンションの変種は役に立つが、優れたパフォーマンスのために入力グラフに高次拡張を必要とする可能性があり、既に複雑な入力グラフをスパース化しようとはしない。 学習された注意機構はこれらのエッジをほとんど使用しない傾向があるため、そのような高次接続は不要である可能性がある。 グラフ上の注意スコアは通常、ネットワーク幅で完全に一致していることを示し、この観測結果を用いて、Spexphormerと呼ばれる2段階のプロシージャを提案する: まず、完全な拡張グラフ上で狭いネットワークをトレーニングする。 次に、アクティブな接続のみを使用して、より広い範囲のネットワークを、よりスペーサーグラフでトレーニングする。 狭いネットワークの注意点が広いネットワークのそれと一致する場合の理論的条件を確立し、Spexphormerが様々なグラフデータセットのメモリ要求を大幅に削減して良好な性能を発揮することを示す。

関連論文リスト

• InstructG2I: Synthesizing Images from Multimodal Attributed Graphs [50.852150521561676]
  InstructG2Iと呼ばれるグラフ文脈条件拡散モデルを提案する。 InstructG2Iはまずグラフ構造とマルチモーダル情報を利用して情報的隣人サンプリングを行う。 Graph-QFormerエンコーダは、グラフノードをグラフプロンプトの補助セットに適応的に符号化し、デノナイジングプロセスを導く。
  論文  参考訳（メタデータ） (2024-10-09T17:56:15Z)
• Learning on Large Graphs using Intersecting Communities [13.053266613831447]
  MPNNは、各ノードの隣人からのメッセージを集約することで、入力グラフ内の各ノードの表現を反復的に更新する。 MPNNは、あまりスパースではないため、すぐに大きなグラフの禁止になるかもしれない。 本稿では,入力グラフを交差するコミュニティグラフ (ICG) として近似することを提案する。
  論文  参考訳（メタデータ） (2024-05-31T09:26:26Z)
• Hypergraph-enhanced Dual Semi-supervised Graph Classification [14.339207883093204]
  半教師付きグラフ分類のためのハイパーグラフ拡張DuALフレームワークHEALを提案する。 ノード間の高次関係をよりよく探求するために,複雑なノード依存を適応的に学習するハイパーグラフ構造を設計する。 学習したハイパーグラフに基づいて,ハイパーエッジ間の相互作用を捉える線グラフを導入する。
  論文  参考訳（メタデータ） (2024-05-08T02:44:13Z)
• SpikeGraphormer: A High-Performance Graph Transformer with Spiking Graph Attention [1.4126245676224705]
  Graph Transformerは、Graph Neural Networks(GNN)固有の制限を軽減するための、有望なソリューションとして登場した。 本稿では,SNNとグラフ変換器の統合に関する新たな知見を提案し,Spiking Graph Attention (SGA) モジュールを設計する。 SpikeGraphormerは、さまざまなデータセットにわたる既存の最先端アプローチを一貫して上回る。
  論文  参考訳（メタデータ） (2024-03-21T03:11:53Z)
• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• HUGE: Huge Unsupervised Graph Embeddings with TPUs [6.108914274067702]
  グラフ埋め込み(Graph Embedding)は、グラフ内のノードを連続的に表現するプロセスである。 高帯域幅メモリを利用した高性能グラフ埋め込みアーキテクチャを提案する。 実・合成大規模データセット上での埋め込み空間の品質を検証する。
  論文  参考訳（メタデータ） (2023-07-26T20:29:15Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Graph Mixup with Soft Alignments [49.61520432554505]
  本研究では,画像上での使用に成功しているミキサアップによるグラフデータの増大について検討する。 ソフトアライメントによるグラフ分類のための簡易かつ効果的な混合手法であるS-Mixupを提案する。
  論文  参考訳（メタデータ） (2023-06-11T22:04:28Z)
• SpeqNets: Sparsity-aware Permutation-equivariant Graph Networks [16.14454388348814]
  我々は、普遍的、置換同変グラフネットワークのクラスを示す。 それらは表現性とスケーラビリティのきめ細かい制御を提供し、グラフの幅に適応する。 これらのアーキテクチャにより、標準的な高階グラフネットワークに比べて計算時間が大幅に短縮される。
  論文  参考訳（メタデータ） (2022-03-25T21:17:09Z)
• Scaling R-GCN Training with Graph Summarization [71.06855946732296]
  リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。 本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。 AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
  論文  参考訳（メタデータ） (2022-03-05T00:28:43Z)
• Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification [70.50751397870972]
  FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。 我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
  論文  参考訳（メタデータ） (2020-06-15T22:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。