論文の概要: SFi-Former: Sparse Flow Induced Attention for Graph Transformer

• arxiv url: http://arxiv.org/abs/2504.20666v1
• Date: Tue, 29 Apr 2025 11:45:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.872841
• Title: SFi-Former: Sparse Flow Induced Attention for Graph Transformer
• Title（参考訳）: SFi-Former:グラフ変圧器のスパースフロー誘起アテンション
• Authors: Zhonghao Li, Ji Shi, Xinming Zhang, Miao Zhang, Bo Li,
• Abstract要約: グラフトランスフォーマー(GT)は、従来のメッセージパスグラフニューラルネットワークよりも優れた性能を示している。 GTは、集中的な注意による誘導バイアスの弱さ、過度に適合する問題、過度にグローバル化する問題に悩まされる傾向にある。 スパースパターンを学習するための新しいアテンション機構であるSFiアテンションを導入する。
• 参考スコア（独自算出の注目度）: 21.464693381328832
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Transformers (GTs) have demonstrated superior performance compared to traditional message-passing graph neural networks in many studies, especially in processing graph data with long-range dependencies. However, GTs tend to suffer from weak inductive bias, overfitting and over-globalizing problems due to the dense attention. In this paper, we introduce SFi-attention, a novel attention mechanism designed to learn sparse pattern by minimizing an energy function based on network flows with l1-norm regularization, to relieve those issues caused by dense attention. Furthermore, SFi-Former is accordingly devised which can leverage the sparse attention pattern of SFi-attention to generate sparse network flows beyond adjacency matrix of graph data. Specifically, SFi-Former aggregates features selectively from other nodes through flexible adaptation of the sparse attention, leading to a more robust model. We validate our SFi-Former on various graph datasets, especially those graph data exhibiting long-range dependencies. Experimental results show that our SFi-Former obtains competitive performance on GNN Benchmark datasets and SOTA performance on LongRange Graph Benchmark (LRGB) datasets. Additionally, our model gives rise to smaller generalization gaps, which indicates that it is less prone to over-fitting. Click here for codes.
• Abstract（参考訳）: グラフトランスフォーマー(GT)は、多くの研究において、特に長距離依存によるグラフデータの処理において、従来のメッセージパスグラフニューラルネットワークよりも優れた性能を示している。 しかしながら、GTは、集中的な注意のために、誘導バイアスの弱さ、過度に適合し、過度にグローバル化する問題に悩まされる傾向にある。 本稿では,l1-norm正規化によるネットワークフローに基づくエネルギー関数の最小化により,スパースパターンの学習を目的とした新しいアテンション機構であるSFiアテンションを導入する。 さらに、SFi-Formerは、SFiアテンションのスパースアテンションパターンを利用して、グラフデータの隣接行列を超えたスパースネットワークフローを生成することができる。 具体的には、SFi-Formerはスパースアテンションの柔軟な適応を通じて、他のノードから機能を選択的に集約し、より堅牢なモデルをもたらす。 我々はSFi-Formerを様々なグラフデータセット、特に長距離依存を示すグラフデータで検証する。 SFi-Formerは,GNNベンチマークデータセット上での競合性能とLongRange Graph Benchmark(LRGB)データセット上でのSOTA性能を示す。 さらに、我々のモデルはより小さな一般化ギャップを生じさせ、過度に適合する傾向が低いことを示す。 コードについてはこちらをクリックしてください。

関連論文リスト

• Graph-Augmented LSTM for Forecasting Sparse Anomalies in Graph-Structured Time Series [0.0]
  本稿では,時系列間の関係グラフをLSTM予測モデルに明示的に統合するグラフ拡張時系列予測手法を提案する。 我々は,Yahoo Webscope S5 異常データセットとMETR-LAトラフィックセンサネットワークの2つのベンチマークデータセットに対するアプローチを評価する。 その結果,F1スコアは最良基準値に対して最大10%向上した。
  論文  参考訳（メタデータ） (2025-03-05T18:37:52Z)
• Graph Sampling for Scalable and Expressive Graph Neural Networks on Homophilic Graphs [10.899290631285297]
  グラフニューラルネットワーク(GNN)は多くのグラフ機械学習タスクに優れるが、大規模ネットワークへのスケーリングでは課題に直面している。 グラフ構造を保存するために特徴ホモフィリーを利用する新しいグラフサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-22T00:30:31Z)
• GrassNet: State Space Model Meets Graph Neural Network [57.62885438406724]
  Graph State Space Network (GrassNet)は、任意のグラフスペクトルフィルタを設計するためのシンプルで効果的なスキームを提供する理論的なサポートを持つ、新しいグラフニューラルネットワークである。 我々の知る限り、我々の研究はグラフGNNスペクトルフィルタの設計にSSMを使った最初のものである。 9つの公開ベンチマークでの大規模な実験により、GrassNetは現実世界のグラフモデリングタスクにおいて優れたパフォーマンスを達成することが明らかになった。
  論文  参考訳（メタデータ） (2024-08-16T07:33:58Z)
• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• Implicit Graph Neural Diffusion Networks: Convergence, Generalization, and Over-Smoothing [7.984586585987328]
  Inlicit Graph Neural Networks (GNN)は、グラフ学習問題に対処する上で大きな成功を収めた。 パラメータ化グラフラプラシアン演算子に基づく暗黙グラフ拡散層を設計するための幾何学的枠組みを提案する。 ディリクレエネルギー最小化問題の固定点方程式として, 暗黙のGNN層がどう見えるかを示す。
  論文  参考訳（メタデータ） (2023-08-07T05:22:33Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Training Robust Graph Neural Networks with Topology Adaptive Edge Dropping [116.26579152942162]
  グラフニューラルネットワーク(GNN)は、グラフ構造情報を利用してネットワークデータから表現をモデル化する処理アーキテクチャである。 彼らの成功にもかかわらず、GNNは限られた訓練データから得られる準最適一般化性能に悩まされている。 本稿では、一般化性能を改善し、堅牢なGNNモデルを学習するためのトポロジ適応エッジドロップ法を提案する。
  論文  参考訳（メタデータ） (2021-06-05T13:20:36Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• Graph Representation Learning Network via Adaptive Sampling [4.996520403438455]
  Graph Attention Network(GAT)とGraphSAGEは、グラフ構造化データを操作するニューラルネットワークアーキテクチャである。 GraphSAGEが提起した課題のひとつは、グラフ構造に基づいた隣の機能をスマートに組み合わせる方法だ。 より効率的で,異なるエッジ型情報を組み込むことが可能な,これらの問題に対処する新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-06-08T14:36:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。