Fugu-MT 論文翻訳(概要): Stronger Graph Transformer with Regularized Attention Scores

論文の概要: Stronger Graph Transformer with Regularized Attention Scores

arxiv url: http://arxiv.org/abs/2312.11730v4
Date: Fri, 22 Mar 2024 02:18:44 GMT
ステータス: 処理完了
システム内更新日: 2024-03-25 22:20:33.910794
Title: Stronger Graph Transformer with Regularized Attention Scores
Title（参考訳）: 正規化アテンションスコアを用いたより強いグラフ変換器
Authors: Eugene Ku,
Abstract要約: 最近、Graph Transformerと呼ばれるTransformerベースのGNNでは、長距離依存が存在する場合、優れたパフォーマンスが得られることが示されている。位置決めの必要性を緩和する「エッジ正規化技術」の新たなバージョンを提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Graph Neural Networks are notorious for its memory consumption. A recent Transformer-based GNN called Graph Transformer is shown to obtain superior performances when long range dependencies exist. However, combining graph data and Transformer architecture led to a combinationally worse memory issue. We propose a novel version of "edge regularization technique" that alleviates the need for Positional Encoding and ultimately alleviate GT's out of memory issue. We observe that it is not clear whether having an edge regularization on top of positional encoding is helpful. However, it seems evident that applying our edge regularization technique indeed stably improves GT's performance compared to GT without Positional Encoding.
Abstract（参考訳）: Graph Neural Networksは、そのメモリ消費で有名だ。最近、Graph Transformerと呼ばれるTransformerベースのGNNでは、長距離依存が存在する場合、優れたパフォーマンスが得られることが示されている。しかし、グラフデータとTransformerアーキテクチャを組み合わせることで、メモリの問題が相まって悪化した。本稿では、位置エンコーディングの必要性を軽減し、最終的にGTのメモリ外問題を軽減する「エッジ正規化技術」の新たなバージョンを提案する。位置エンコーディング上のエッジ正規化が有用かどうかは不明である。しかし, エッジ正規化技術を用いることで, 位置エンコーディングのないGTと比較してGTの性能が安定的に向上することが明らかである。

関連論文リスト

Where Did the Gap Go? Reassessing the Long-Range Graph Benchmark [4.272016212825404]
グラフ変換器がメッセージパッシングGNN(MPGNN)を著しく上回っているという実証的証拠報告された性能ギャップは、最適以下のパラメータ選択によって過大評価されることを示す。本論文の主な目的は,グラフ機械学習コミュニティにおいて,より高度な経験的厳密性を確立することである。
論文参考訳（メタデータ） (2023-09-01T09:47:33Z)
AGFormer: Efficient Graph Representation with Anchor-Graph Transformer [95.1825252182316]
Anchor Graph Transformer (AGFormer) と呼ばれる新しいグラフトランスアーキテクチャを提案する。 AGFormerはまずいくつかの代表アンカーを取得し、次にノード間メッセージパッシングをアンカー間メッセージパッシングプロセスとアンカー間メッセージパッシングプロセスに変換する。いくつかのベンチマークデータセットに対する大規模な実験は、提案されたAGFormerの有効性とメリットを示している。
論文参考訳（メタデータ） (2023-05-12T14:35:42Z)
PatchGT: Transformer over Non-trainable Clusters for Learning Graph Representations [18.203910156450085]
我々は、新しいTransformerベースのグラフニューラルネットワーク、Patch Graph Transformer(PatchGT)を提案する。グラフ表現を学習する従来のトランスフォーマーベースモデルとは異なり、PatchGTはノードから直接ではなく、トレーニング不可能なグラフパッチから学習する。 PatchGTは1-WL型GNNよりも高い性能を達成し,ベンチマークデータセット上でPatchGTが競合性能を達成することを示す実証的研究を行った。
論文参考訳（メタデータ） (2022-11-26T01:17:23Z)
Pure Transformers are Powerful Graph Learners [51.36884247453605]
グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
論文参考訳（メタデータ） (2022-07-06T08:13:06Z)
Orthogonal Graph Neural Networks [53.466187667936026]
グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
論文参考訳（メタデータ） (2021-09-23T12:39:01Z)
Graph Transformer Networks: Learning Meta-path Graphs to Improve GNNs [20.85042364993559]
本稿では,新しいグラフ構造を生成し,タスクに有用な接続を含むグラフトランスフォーマーネットワーク(GTN)を提案する。 Fast Graph Transformer Networks (FastGTNs) は230倍高速で、100倍少ないメモリを使用する。グラフ変換を、メタパスを超えた非局所的な操作を可能にするノードの意味的近接に拡張する。
論文参考訳（メタデータ） (2021-06-11T07:56:55Z)
GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings [51.82434518719011]
GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。ガスは大規模グラフ上で最先端のパフォーマンスに達する。
論文参考訳（メタデータ） (2021-06-10T09:26:56Z)
Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文参考訳（メタデータ） (2021-06-09T17:18:52Z)
Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
論文参考訳（メタデータ） (2021-06-07T18:11:11Z)
A Generalization of Transformer Networks to Graphs [5.736353542430439]
標準モデルと比較して4つの新しい特性を持つグラフトランスを紹介します。アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
論文参考訳（メタデータ） (2020-12-17T16:11:47Z)
GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training [101.3819906739515]
グラフニューラルネットワーク(GNN)における正規化の有効性について検討する。 BatchNormやLayerNormと比較して、インスタンスNormの方が高速に収束できる。 GraphNormはGNNの一般化も改善し、グラフ分類ベンチマークのパフォーマンス向上を実現している。
論文参考訳（メタデータ） (2020-09-07T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。