Fugu-MT 論文翻訳(概要): Graph Attention Multi-Layer Perceptron

論文の概要: Graph Attention Multi-Layer Perceptron

arxiv url: http://arxiv.org/abs/2108.10097v1
Date: Mon, 23 Aug 2021 11:56:20 GMT
ステータス: 処理完了
システム内更新日: 2021-08-24 15:36:02.390926
Title: Graph Attention Multi-Layer Perceptron
Title（参考訳）: グラフ注意多層パーセプトロン
Authors: Wentao Zhang, Ziqi Yin, Zeang Sheng, Wen Ouyang, Xiaosen Li, Yangyu Tao, Zhi Yang, Bin Cui
Abstract要約: グラフニューラルネットワーク(GNN)は、最近、多くのグラフベースのアプリケーションで最先端のパフォーマンスを達成した。スケーラブルでフレキシブルなグラフ注意多層パーセプトロン(GAMLP)を導入する。 GAMLPの各ノードは3つの原則による受容野の注意によって柔軟で適応的であり、受信野の異なる大きさに伝播する特徴を利用する。
参考スコア（独自算出の注目度）: 12.129233487384965
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graph neural networks (GNNs) have recently achieved state-of-the-art performance in many graph-based applications. Despite the high expressive power, they typically need to perform an expensive recursive neighborhood expansion in multiple training epochs and face a scalability issue. Moreover, most of them are inflexible since they are restricted to fixed-hop neighborhoods and insensitive to actual receptive field demands for different nodes. We circumvent these limitations by introducing a scalable and flexible Graph Attention Multilayer Perceptron (GAMLP). With the separation of the non-linear transformation and feature propagation, GAMLP significantly improves the scalability and efficiency by performing the propagation procedure in a pre-compute manner. With three principled receptive field attention, each node in GAMLP is flexible and adaptive in leveraging the propagated features over the different sizes of reception field. We conduct extensive evaluations on the three large open graph benchmarks (e.g., ogbn-papers100M, ogbn-products and ogbn-mag), demonstrating that GAMLP not only achieves the state-of-art performance, but also additionally provide high scalability and efficiency.
Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、最近、多くのグラフベースのアプリケーションで最先端のパフォーマンスを達成した。高い表現力にもかかわらず、彼らは通常、複数の訓練エポックで高価な再帰的な近隣拡張を実行し、スケーラビリティの問題に直面します。さらに、それらの多くは固定ホップ近傍に制限されており、異なるノードに対する実際の受容野要求に敏感であるため、柔軟性がない。スケーラブルでフレキシブルなグラフ注意多層パーセプトロン(GAMLP)を導入することで、これらの制限を回避する。非線形変換と特徴伝播の分離により、gamlpは予め計算した方法で伝播手順を実行することでスケーラビリティと効率を大幅に向上させる。 GAMLPの各ノードは3つの原則による受容野の注意によって柔軟で適応的であり、受信野の異なる大きさに伝播する特徴を利用する。我々は,3つの大規模オープングラフベンチマーク(ogbn-papers100M,ogbn-products,ogbn-mag)について広範な評価を行い,GAMLPが最先端の性能を達成するだけでなく,高いスケーラビリティと効率を提供することを示した。

関連論文リスト

A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文参考訳（メタデータ） (2024-06-19T22:30:08Z)
A Scalable and Effective Alternative to Graph Transformers [19.018320937729264]
グラフ変換器(GT)が導入された。 GTは、グラフ内のノード数の複雑さに悩まされ、大きなグラフに適用できなくなる。 GTに代わるスケーラブルで効果的なグラフ拡張コンテキスト演算子(GECO)を提案する。
論文参考訳（メタデータ） (2024-06-17T19:57:34Z)
GRANOLA: Adaptive Normalization for Graph Neural Networks [28.993479890213617]
グラフニューラルネットワーク(GNN)層に対するグラフ適応正規化層であるGRANOLAを提案する。既存の正規化レイヤとは異なり、GRANOLAはグラフの特定の特性に適応してノードの特徴を正規化する。各種グラフベンチマークの実証評価は,既存の正規化手法よりもGRANOLAの優れた性能を示している。
論文参考訳（メタデータ） (2024-04-20T10:44:13Z)
Rethinking Node-wise Propagation for Large-scale Graph Learning [42.29535580297932]
textbfAdaptive textbfTopology-aware textbfPropagation (ATP) ATPは潜在的な高バイアス伝播を低減し、各ノードの構造パターンをスケーラブルに抽出し、実行効率と予測性能を改善する。 ATPは、半教師付きノード分類のための広範でスケーラブルなGNNの性能を改善するのに効率的であることが証明されている。
論文参考訳（メタデータ） (2024-02-09T01:19:47Z)
Graph Transformers for Large Graphs [57.19338459218758]
この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
論文参考訳（メタデータ） (2023-12-18T11:19:23Z)
SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [78.97396248946174]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文参考訳（メタデータ） (2023-06-19T08:03:25Z)
AGNN: Alternating Graph-Regularized Neural Networks to Alleviate Over-Smoothing [29.618952407794776]
グラフ畳み込み層(GCL)とグラフ埋め込み層(GEL)からなる交代グラフ正規化ニューラルネットワーク(AGNN)を提案する。 GELはラプラシアン埋め込み項を含むグラフ正規化最適化から導かれる。 AGNNは、いくつかの多層または多次グラフニューラルネットワークのパフォーマンス比較を含む、多数の実験を通じて評価されている。
論文参考訳（メタデータ） (2023-04-14T09:20:03Z)
GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings [51.82434518719011]
GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。ガスは大規模グラフ上で最先端のパフォーマンスに達する。
論文参考訳（メタデータ） (2021-06-10T09:26:56Z)
GMLP: Building Scalable and Flexible Graph Neural Networks with Feature-Message Passing [16.683813354137254]
Graph Multi-layer Perceptron (GMLP)は、ニューラルアップデートとメッセージパッシングを分離する。 11のベンチマークデータセットに対して広範な評価を行う。
論文参考訳（メタデータ） (2021-04-20T10:19:21Z)
On Graph Neural Networks versus Graph-Augmented MLPs [51.23890789522705]
Graph-Augmented Multi-Layer Perceptrons (GA-MLPs)は、まずグラフ上の特定のマルチホップ演算子でノード機能を拡張する。我々は,GA-MLPとGNNの表現力の分離を証明し,指数関数的に成長することを示す。
論文参考訳（メタデータ） (2020-10-28T17:59:59Z)
Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
論文参考訳（メタデータ） (2020-10-19T21:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。