Fugu-MT 論文翻訳(概要): Masked Attention is All You Need for Graphs

論文の概要: Masked Attention is All You Need for Graphs

arxiv url: http://arxiv.org/abs/2402.10793v1
Date: Fri, 16 Feb 2024 16:20:11 GMT
ステータス: 処理完了
システム内更新日: 2024-02-19 15:15:50.925898
Title: Masked Attention is All You Need for Graphs
Title（参考訳）: Masked Attentionはグラフに必要なもの
Authors: David Buterez, Jon Paul Janet, Dino Oglic, Pietro Lio
Abstract要約: Masked attention for graphs (MAG) is a state-of-the-art performance on long-range task。グラフニューラルネットワーク(GNN)と比較すると,転送学習能力が大幅に向上し,時間とメモリのスケーリングが向上した。
参考スコア（独自算出の注目度）: 9.342468531778874
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Graph neural networks (GNNs) and variations of the message passing algorithm are the predominant means for learning on graphs, largely due to their flexibility, speed, and satisfactory performance. The design of powerful and general purpose GNNs, however, requires significant research efforts and often relies on handcrafted, carefully-chosen message passing operators. Motivated by this, we propose a remarkably simple alternative for learning on graphs that relies exclusively on attention. Graphs are represented as node or edge sets and their connectivity is enforced by masking the attention weight matrix, effectively creating custom attention patterns for each graph. Despite its simplicity, masked attention for graphs (MAG) has state-of-the-art performance on long-range tasks and outperforms strong message passing baselines and much more involved attention-based methods on over 55 node and graph-level tasks. We also show significantly better transfer learning capabilities compared to GNNs and comparable or better time and memory scaling. MAG has sub-linear memory scaling in the number of nodes or edges, enabling learning on dense graphs and future-proofing the approach.
Abstract（参考訳）: グラフニューラルネットワーク(gnns)とメッセージパッシングアルゴリズムのバリエーションは、その柔軟性、速度、そして十分なパフォーマンスのために、グラフ上で学習するための主要な手段である。しかし、強力で汎用的なGNNの設計は、かなりの研究努力を必要としており、しばしば手作りの、注意深いメッセージパッシング演算子に依存している。そこで本研究では,注意力にのみ依存するグラフを用いた学習方法を提案する。グラフはノードまたはエッジセットとして表現され、それらの接続は、注意重み行列をマスクすることで強制され、各グラフのカスタム注意パターンを効果的に作成する。その単純さにもかかわらず、グラフ(MAG)のマスキングは、長距離タスクにおける最先端のパフォーマンスを持ち、強いメッセージパッシングベースラインや55以上のノードおよびグラフレベルタスク上でのアテンションベースのメソッドよりも優れています。また、GNNと比較して転送学習能力が大幅に向上し、時間とメモリのスケーリングが向上しています。 MAGはノード数やエッジ数のサブ線形メモリスケーリングを持ち、高密度グラフの学習と将来的なアプローチの保護を可能にしている。

関連論文リスト

Graph Coarsening with Message-Passing Guarantees [10.02138130221506]
提案手法は,信号の保存に関する理論的保証を示す,粗いグラフに特有な新しいメッセージパッシング操作を提案する。我々は合成データと実データに対してノード分類タスクを行い、粗いグラフ上で単純メッセージパッシングを行うのと比べて改善された結果を観察する。
論文参考訳（メタデータ） (2024-05-28T12:39:24Z)
Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
論文参考訳（メタデータ） (2024-05-27T17:52:12Z)
MuseGraph: Graph-oriented Instruction Tuning of Large Language Models for Generic Graph Mining [41.19687587548107]
グラフニューラルネットワーク(GNN)は、異なるグラフタスクやデータセットに適用されるたびに、再トレーニングされる必要がある。 GNNとLarge Language Models(LLM)の強みをシームレスに統合する新しいフレームワークMusteGraphを提案する。実験結果から,異なるグラフタスクの大幅な改善が示された。
論文参考訳（メタデータ） (2024-03-02T09:27:32Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
論文参考訳（メタデータ） (2022-08-21T15:12:08Z)
Affinity-Aware Graph Networks [9.888383815189176]
グラフニューラルネットワーク(GNN)は、リレーショナルデータを学ぶための強力なテクニックとして登場した。グラフニューラルネットワークの特徴としてアフィニティ尺度の利用について検討する。本稿では,これらの特徴に基づくメッセージパッシングネットワークを提案し,その性能を様々なノードおよびグラフ特性予測タスクで評価する。
論文参考訳（メタデータ） (2022-06-23T18:51:35Z)
Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文参考訳（メタデータ） (2022-03-03T09:53:53Z)
GraphMI: Extracting Private Graph Data from Graph Neural Networks [59.05178231559796]
GNNを反転させてトレーニンググラフのプライベートグラフデータを抽出することを目的とした textbfGraph textbfModel textbfInversion attack (GraphMI) を提案する。具体的には,グラフ特徴の空間性と滑らかさを保ちながら,グラフエッジの離散性に対処する勾配モジュールを提案する。エッジ推論のためのグラフトポロジ、ノード属性、ターゲットモデルパラメータを効率的に活用するグラフ自動エンコーダモジュールを設計する。
論文参考訳（メタデータ） (2021-06-05T07:07:52Z)
Hierarchical Adaptive Pooling by Capturing High-order Dependency for Graph Representation Learning [18.423192209359158]
グラフニューラルネットワーク(GNN)はノードレベルのグラフ表現学習タスクでグラフ構造化データを扱うのに十分成熟していることが証明されている。本稿では,グラフ構造に適応する階層型グラフレベルの表現学習フレームワークを提案する。
論文参考訳（メタデータ） (2021-04-13T06:22:24Z)
Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。 CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
論文参考訳（メタデータ） (2020-10-25T22:39:31Z)
GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。