Fugu-MT 論文翻訳(概要): Stronger Graph Transformer with Regularized Attention Scores

論文の概要: Stronger Graph Transformer with Regularized Attention Scores

arxiv url: http://arxiv.org/abs/2312.11730v1
Date: Mon, 18 Dec 2023 22:12:26 GMT
ステータス: 処理完了
システム内更新日: 2023-12-20 17:48:03.828233
Title: Stronger Graph Transformer with Regularized Attention Scores
Title（参考訳）: 正規化アテンションスコアを用いたより強いグラフ変換器
Authors: Eugene Ku, Swetha Arunraj
Abstract要約: 位置決めの必要性を緩和する「エッジ正規化技術」の新たなバージョンを提案する。位置エンコーディング上のエッジ正規化が有用かどうかは不明である。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Graph Neural Networks are notorious for its memory consumption. A recent Transformer based GNN called Graph Transformer are shown to obtain superior performances when long range dependencies exist. However, combining graph data and Transformer architecture led to a combinationally worse memory issue. We propose a novel version of "edge regularization technique" that alleviates the need for Positional Encoding and ultimately alleviate GT's out of memory issue. We observe that it is not clear whether having an edge regularization on top of positional encoding is helpful. However, it seems evident when no positional encoding is applied, edge regularization technique indeed stably improves GT's performance.
Abstract（参考訳）: Graph Neural Networksは、そのメモリ消費で有名だ。最近、Graph Transformerと呼ばれるTransformerベースのGNNでは、長距離依存が存在する場合、優れたパフォーマンスが得られることが示されている。しかし、グラフデータとトランスフォーマーアーキテクチャを組み合わせることで、メモリの問題がさらに悪化した。本稿では、位置エンコーディングの必要性を軽減し、GTのメモリ外問題を軽減する「エッジ正規化技術」の新たなバージョンを提案する。位置符号化の上にエッジ正規化があるかどうかは明らかでない。しかし、位置符号化が適用されない場合、エッジ正規化技術はGTの性能を安定的に向上する。

関連論文リスト

Masked Graph Transformer for Large-Scale Recommendation [56.37903431721977]
本稿では, MGFormer という名前の効率的な Masked Graph Transformer を提案する。実験の結果,単一注意層でもMGFormerの優れた性能が得られた。
論文参考訳（メタデータ） (2024-05-07T06:00:47Z)
T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文参考訳（メタデータ） (2023-10-05T02:58:29Z)
Where Did the Gap Go? Reassessing the Long-Range Graph Benchmark [4.272016212825404]
グラフ変換器がメッセージパッシングGNN(MPGNN)を著しく上回っているという実証的証拠報告された性能ギャップは、最適以下のパラメータ選択によって過大評価されることを示す。本論文の主な目的は,グラフ機械学習コミュニティにおいて,より高度な経験的厳密性を確立することである。
論文参考訳（メタデータ） (2023-09-01T09:47:33Z)
AGFormer: Efficient Graph Representation with Anchor-Graph Transformer [95.1825252182316]
Anchor Graph Transformer (AGFormer) と呼ばれる新しいグラフトランスアーキテクチャを提案する。 AGFormerはまずいくつかの代表アンカーを取得し、次にノード間メッセージパッシングをアンカー間メッセージパッシングプロセスとアンカー間メッセージパッシングプロセスに変換する。いくつかのベンチマークデータセットに対する大規模な実験は、提案されたAGFormerの有効性とメリットを示している。
論文参考訳（メタデータ） (2023-05-12T14:35:42Z)
PatchGT: Transformer over Non-trainable Clusters for Learning Graph Representations [18.203910156450085]
我々は、新しいTransformerベースのグラフニューラルネットワーク、Patch Graph Transformer(PatchGT)を提案する。グラフ表現を学習する従来のトランスフォーマーベースモデルとは異なり、PatchGTはノードから直接ではなく、トレーニング不可能なグラフパッチから学習する。 PatchGTは1-WL型GNNよりも高い性能を達成し,ベンチマークデータセット上でPatchGTが競合性能を達成することを示す実証的研究を行った。
論文参考訳（メタデータ） (2022-11-26T01:17:23Z)
Pure Transformers are Powerful Graph Learners [51.36884247453605]
グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
論文参考訳（メタデータ） (2022-07-06T08:13:06Z)
Orthogonal Graph Neural Networks [53.466187667936026]
グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
論文参考訳（メタデータ） (2021-09-23T12:39:01Z)
Graph Transformer Networks: Learning Meta-path Graphs to Improve GNNs [20.85042364993559]
本稿では,新しいグラフ構造を生成し,タスクに有用な接続を含むグラフトランスフォーマーネットワーク(GTN)を提案する。 Fast Graph Transformer Networks (FastGTNs) は230倍高速で、100倍少ないメモリを使用する。グラフ変換を、メタパスを超えた非局所的な操作を可能にするノードの意味的近接に拡張する。
論文参考訳（メタデータ） (2021-06-11T07:56:55Z)
GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings [51.82434518719011]
GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。ガスは大規模グラフ上で最先端のパフォーマンスに達する。
論文参考訳（メタデータ） (2021-06-10T09:26:56Z)
Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
論文参考訳（メタデータ） (2021-06-07T18:11:11Z)
A Generalization of Transformer Networks to Graphs [5.736353542430439]
標準モデルと比較して4つの新しい特性を持つグラフトランスを紹介します。アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
論文参考訳（メタデータ） (2020-12-17T16:11:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。