論文の概要: Gradformer: Graph Transformer with Exponential Decay

• arxiv url: http://arxiv.org/abs/2404.15729v1
• Date: Wed, 24 Apr 2024 08:37:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 19:49:56.968343
• Title: Gradformer: Graph Transformer with Exponential Decay
• Title（参考訳）: Gradformer: 指数減衰を備えたグラフ変換器
• Authors: Chuang Liu, Zelin Yao, Yibing Zhan, Xueqi Ma, Shirui Pan, Wenbin Hu,
• Abstract要約: グラフ変換器(GT)の自己保持機構は、グラフの帰納バイアス、特に構造に関するバイアスを見落としている。 本稿では,GTと本質的帰納バイアスを革新的に統合するGradformerを提案する。 GradformerはグラフニューラルネットワークやGTベースラインモデルよりも、さまざまなグラフ分類や回帰タスクにおいて一貫して優れています。
• 参考スコア（独自算出の注目度）: 69.50738015412189
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Transformers (GTs) have demonstrated their advantages across a wide range of tasks. However, the self-attention mechanism in GTs overlooks the graph's inductive biases, particularly biases related to structure, which are crucial for the graph tasks. Although some methods utilize positional encoding and attention bias to model inductive biases, their effectiveness is still suboptimal analytically. Therefore, this paper presents Gradformer, a method innovatively integrating GT with the intrinsic inductive bias by applying an exponential decay mask to the attention matrix. Specifically, the values in the decay mask matrix diminish exponentially, correlating with the decreasing node proximities within the graph structure. This design enables Gradformer to retain its ability to capture information from distant nodes while focusing on the graph's local details. Furthermore, Gradformer introduces a learnable constraint into the decay mask, allowing different attention heads to learn distinct decay masks. Such an design diversifies the attention heads, enabling a more effective assimilation of diverse structural information within the graph. Extensive experiments on various benchmarks demonstrate that Gradformer consistently outperforms the Graph Neural Network and GT baseline models in various graph classification and regression tasks. Additionally, Gradformer has proven to be an effective method for training deep GT models, maintaining or even enhancing accuracy compared to shallow models as the network deepens, in contrast to the significant accuracy drop observed in other GT models.Codes are available at \url{https://github.com/LiuChuang0059/Gradformer}.
• Abstract（参考訳）: グラフトランスフォーマー(GT)は、幅広いタスクでその利点を実証している。 しかし、GTsの自己注意機構はグラフの帰納バイアス、特にグラフのタスクに不可欠な構造に関するバイアスを見落としている。 位置符号化と注意バイアスを利用して誘導バイアスをモデル化する手法もあるが、その効果はいまだに準最適である。 そこで本稿では,GTと本質的帰納バイアスを革新的に統合する手法であるGradformerについて述べる。 具体的には、崩壊マスク行列の値は指数関数的に減少し、グラフ構造内のノードの近さの減少に関連している。 この設計によりGradformerは、グラフのローカル詳細に集中しながら、遠くのノードから情報をキャプチャする能力を維持することができる。 さらに、グラッドフォーマーは減衰マスクに学習可能な制約を導入し、異なる注意頭が異なる減衰マスクを学習できるようにする。 このような設計は注目ヘッドを多様化させ、グラフ内の多様な構造情報のより効果的な同化を可能にする。 様々なベンチマーク実験により、グラフニューラルネットワークとGTベースラインモデルにおいて、グラフ分類や回帰タスクにおいて、Gradformerは一貫してパフォーマンスが向上していることが示された。 さらに、Gradformerは他のGTモデルで観測される顕著な精度低下とは対照的に、ネットワークの深層化に伴って浅部モデルと比較して精度を維持または向上し、深部GTモデルのトレーニングに有効な方法であることが証明されている。

関連論文リスト

• What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
  自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。 本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
  論文  参考訳（メタデータ） (2024-06-04T05:30:16Z)
• Variational Graph Auto-Encoder Based Inductive Learning Method for Semi-Supervised Classification [10.497590357666114]
  帰納的グラフ表現学習のための自己ラベル拡張VGAEモデルを提案する。 学習にラベル情報を活用するため,本モデルではノードラベルをワンホット符号化入力とし,モデルトレーニングにおいてラベル再構成を行う。 提案したモデルアーカイブは、セミ教師付き学習環境下でのノード分類において、特に優越する結果を約束する。
  論文  参考訳（メタデータ） (2024-03-26T08:59:37Z)
• Through the Dual-Prism: A Spectral Perspective on Graph Data Augmentation for Graph Classification [71.36575018271405]
  本稿では,DP-NoiseとDP-Maskを組み合わせたDual-Prism(DP)拡張手法を提案する。 低周波固有値の変動を保ちながら、拡張グラフを生成する際に、臨界特性を大規模に保存できることが判明した。
  論文  参考訳（メタデータ） (2024-01-18T12:58:53Z)
• Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation [41.00398052556643]
  本稿では,GraphAKD というグラフモデルのための新しい知識蒸留フレームワークを提案する。 識別器は教師の知識と学生が継承するものを区別し、学生GNNはジェネレータとして働き、識別器を騙す。 その結果、GraphAKDは複雑な教師GNNからコンパクトな学生GNNに正確な知識を伝達できることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T00:04:43Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• A Graph Data Augmentation Strategy with Entropy Preserving [11.886325179121226]
  本稿では,グラフ間の特徴情報を評価するための定量的指標として,新しいグラフエントロピー定義を提案する。 グラフエントロピーの保存を考慮し、摂動機構を用いてトレーニングデータを生成する効果的な方法を提案する。 提案手法はトレーニング過程におけるGCNの堅牢性と一般化能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-07-13T12:58:32Z)
• A Deep Latent Space Model for Graph Representation Learning [10.914558012458425]
  本稿では,従来の潜時変動に基づく生成モデルをディープラーニングフレームワークに組み込むために,有向グラフのための深潜時空間モデル(DLSM)を提案する。 提案モデルは,階層的変動型オートエンコーダアーキテクチャによって階層的に接続されるグラフ畳み込みネットワーク(GCN)エンコーダとデコーダから構成される。 実世界のデータセットにおける実験により,提案モデルがリンク予測とコミュニティ検出の両タスクにおける最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-06-22T12:41:19Z)
• Training Robust Graph Neural Networks with Topology Adaptive Edge Dropping [116.26579152942162]
  グラフニューラルネットワーク(GNN)は、グラフ構造情報を利用してネットワークデータから表現をモデル化する処理アーキテクチャである。 彼らの成功にもかかわらず、GNNは限られた訓練データから得られる準最適一般化性能に悩まされている。 本稿では、一般化性能を改善し、堅牢なGNNモデルを学習するためのトポロジ適応エッジドロップ法を提案する。
  論文  参考訳（メタデータ） (2021-06-05T13:20:36Z)
• GraphMI: Extracting Private Graph Data from Graph Neural Networks [59.05178231559796]
  GNNを反転させてトレーニンググラフのプライベートグラフデータを抽出することを目的とした textbfGraph textbfModel textbfInversion attack (GraphMI) を提案する。 具体的には,グラフ特徴の空間性と滑らかさを保ちながら,グラフエッジの離散性に対処する勾配モジュールを提案する。 エッジ推論のためのグラフトポロジ、ノード属性、ターゲットモデルパラメータを効率的に活用するグラフ自動エンコーダモジュールを設計する。
  論文  参考訳（メタデータ） (2021-06-05T07:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。