論文の概要: Masked Attention is All You Need for Graphs

• arxiv url: http://arxiv.org/abs/2402.10793v1
• Date: Fri, 16 Feb 2024 16:20:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 15:15:50.925898
• Title: Masked Attention is All You Need for Graphs
• Title（参考訳）: Masked Attentionはグラフに必要なもの
• Authors: David Buterez, Jon Paul Janet, Dino Oglic, Pietro Lio
• Abstract要約: Masked attention for graphs (MAG) is a state-of-the-art performance on long-range task。 グラフニューラルネットワーク(GNN)と比較すると,転送学習能力が大幅に向上し,時間とメモリのスケーリングが向上した。
• 参考スコア（独自算出の注目度）: 9.342468531778874
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph neural networks (GNNs) and variations of the message passing algorithm are the predominant means for learning on graphs, largely due to their flexibility, speed, and satisfactory performance. The design of powerful and general purpose GNNs, however, requires significant research efforts and often relies on handcrafted, carefully-chosen message passing operators. Motivated by this, we propose a remarkably simple alternative for learning on graphs that relies exclusively on attention. Graphs are represented as node or edge sets and their connectivity is enforced by masking the attention weight matrix, effectively creating custom attention patterns for each graph. Despite its simplicity, masked attention for graphs (MAG) has state-of-the-art performance on long-range tasks and outperforms strong message passing baselines and much more involved attention-based methods on over 55 node and graph-level tasks. We also show significantly better transfer learning capabilities compared to GNNs and comparable or better time and memory scaling. MAG has sub-linear memory scaling in the number of nodes or edges, enabling learning on dense graphs and future-proofing the approach.
• Abstract（参考訳）: グラフニューラルネットワーク(gnns)とメッセージパッシングアルゴリズムのバリエーションは、その柔軟性、速度、そして十分なパフォーマンスのために、グラフ上で学習するための主要な手段である。 しかし、強力で汎用的なGNNの設計は、かなりの研究努力を必要としており、しばしば手作りの、注意深いメッセージパッシング演算子に依存している。 そこで本研究では,注意力にのみ依存するグラフを用いた学習方法を提案する。 グラフはノードまたはエッジセットとして表現され、それらの接続は、注意重み行列をマスクすることで強制され、各グラフのカスタム注意パターンを効果的に作成する。 その単純さにもかかわらず、グラフ(MAG)のマスキングは、長距離タスクにおける最先端のパフォーマンスを持ち、強いメッセージパッシングベースラインや55以上のノードおよびグラフレベルタスク上でのアテンションベースのメソッドよりも優れています。 また、GNNと比較して転送学習能力が大幅に向上し、時間とメモリのスケーリングが向上しています。 MAGはノード数やエッジ数のサブ線形メモリスケーリングを持ち、高密度グラフの学習と将来的なアプローチの保護を可能にしている。

関連論文リスト

• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• GASE: Graph Attention Sampling with Edges Fusion for Solving Vehicle Routing Problems [6.084414764415137]
  車両のルーティング問題を解決するためにEdges Fusionフレームワークを用いた適応型グラフ注意サンプリングを提案する。 提案手法は,既存の手法を2.08%-6.23%上回り,より強力な一般化能力を示す。
  論文  参考訳（メタデータ） (2024-05-21T03:33:07Z)
• Message Detouring: A Simple Yet Effective Cycle Representation for Expressive Graph Learning [4.085624738017079]
  グラフ全体のサイクル表現を階層的に特徴付けるために,テキストデツーリングの概念を導入する。 メッセージのデツーリングは、さまざまなベンチマークデータセットにおいて、現在の競合するアプローチを大幅に上回る可能性がある。
  論文  参考訳（メタデータ） (2024-02-12T22:06:37Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
  グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。 グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。 ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
  論文  参考訳（メタデータ） (2023-01-14T09:15:49Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Affinity-Aware Graph Networks [9.888383815189176]
  グラフニューラルネットワーク(GNN)は、リレーショナルデータを学ぶための強力なテクニックとして登場した。 グラフニューラルネットワークの特徴としてアフィニティ尺度の利用について検討する。 本稿では,これらの特徴に基づくメッセージパッシングネットワークを提案し,その性能を様々なノードおよびグラフ特性予測タスクで評価する。
  論文  参考訳（メタデータ） (2022-06-23T18:51:35Z)
• Graph Contrastive Learning with Adaptive Augmentation [23.37786673825192]
  本稿では,適応的拡張を用いた新しいグラフコントラスト表現学習法を提案する。 具体的には,ノードの集中度に基づく拡張スキームを設計し,重要な結合構造を明らかにする。 提案手法は,既存の最先端のベースラインを一貫して上回り,教師付きベースラインを超えている。
  論文  参考訳（メタデータ） (2020-10-27T15:12:21Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。