論文の概要: An end-to-end attention-based approach for learning on graphs

• arxiv url: http://arxiv.org/abs/2402.10793v2
• Date: Fri, 06 Dec 2024 15:44:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:54:19.386141
• Title: An end-to-end attention-based approach for learning on graphs
• Title（参考訳）: グラフ学習のためのエンド・ツー・エンドの注意に基づくアプローチ
• Authors: David Buterez, Jon Paul Janet, Dino Oglic, Pietro Lio,
• Abstract要約: グラフ上で学習するためのトランスフォーマーベースのアーキテクチャは、効果的な学習メカニズムとして注目によって動機付けられている。 本稿では,エンコーダとアテンションプーリング機構を組み合わせた,純粋に注意に基づくアプローチを提案する。 その単純さにもかかわらず、このアプローチは微調整されたメッセージパッシングベースラインよりも優れており、最近70以上のノードとグラフレベルのタスクでトランスフォーマーベースのメソッドが提案されている。
• 参考スコア（独自算出の注目度）: 8.552020965470113
• License:
• Abstract: There has been a recent surge in transformer-based architectures for learning on graphs, mainly motivated by attention as an effective learning mechanism and the desire to supersede handcrafted operators characteristic of message passing schemes. However, concerns over their empirical effectiveness, scalability, and complexity of the pre-processing steps have been raised, especially in relation to much simpler graph neural networks that typically perform on par with them across a wide range of benchmarks. To tackle these shortcomings, we consider graphs as sets of edges and propose a purely attention-based approach consisting of an encoder and an attention pooling mechanism. The encoder vertically interleaves masked and vanilla self-attention modules to learn an effective representations of edges, while allowing for tackling possible misspecifications in input graphs. Despite its simplicity, the approach outperforms fine-tuned message passing baselines and recently proposed transformer-based methods on more than 70 node and graph-level tasks, including challenging long-range benchmarks. Moreover, we demonstrate state-of-the-art performance across different tasks, ranging from molecular to vision graphs, and heterophilous node classification. The approach also outperforms graph neural networks and transformers in transfer learning settings, and scales much better than alternatives with a similar performance level or expressive power.
• Abstract（参考訳）: グラフ上で学習するトランスフォーマーベースのアーキテクチャは近年急増しており、主に効果的な学習メカニズムとして注目され、メッセージパッシング方式の特徴を持つ手作り演算子に取って代わりたいという願望が浮き彫りになっている。 しかしながら、前処理ステップの実証的有効性、スケーラビリティ、複雑さに対する懸念は高まっている。特に、広範囲のベンチマークでそれらと同等に実行される、より単純なグラフニューラルネットワークに関連している。 これらの欠点に対処するため,グラフをエッジの集合とみなし,エンコーダとアテンションプーリング機構からなる純粋に注意に基づくアプローチを提案する。 エンコーダはマスクとバニラの自己保持モジュールを垂直にインターリーブし、エッジの効果的な表現を学習し、入力グラフの誤特定に対処することができる。 その単純さにもかかわらず、このアプローチは、細調整されたメッセージパッシングベースラインと、70以上のノードとグラフレベルのタスクで最近提案されたトランスフォーマーベースのメソッドよりも優れている。 さらに,分子グラフから視覚グラフ,異種ノード分類に至るまで,さまざまなタスクにまたがる最先端性能を示す。 このアプローチは、トランスファーラーニング設定においてグラフニューラルネットワークやトランスフォーマーよりも優れており、同様のパフォーマンスレベルや表現力を持つ代替よりもはるかに優れたスケールを実現している。

関連論文リスト

• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• GASE: Graph Attention Sampling with Edges Fusion for Solving Vehicle Routing Problems [6.084414764415137]
  車両のルーティング問題を解決するためにEdges Fusionフレームワークを用いた適応型グラフ注意サンプリングを提案する。 提案手法は,既存の手法を2.08%-6.23%上回り,より強力な一般化能力を示す。
  論文  参考訳（メタデータ） (2024-05-21T03:33:07Z)
• Message Detouring: A Simple Yet Effective Cycle Representation for Expressive Graph Learning [4.085624738017079]
  グラフ全体のサイクル表現を階層的に特徴付けるために,テキストデツーリングの概念を導入する。 メッセージのデツーリングは、さまざまなベンチマークデータセットにおいて、現在の競合するアプローチを大幅に上回る可能性がある。
  論文  参考訳（メタデータ） (2024-02-12T22:06:37Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
  グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。 グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。 ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
  論文  参考訳（メタデータ） (2023-01-14T09:15:49Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Affinity-Aware Graph Networks [9.888383815189176]
  グラフニューラルネットワーク(GNN)は、リレーショナルデータを学ぶための強力なテクニックとして登場した。 グラフニューラルネットワークの特徴としてアフィニティ尺度の利用について検討する。 本稿では,これらの特徴に基づくメッセージパッシングネットワークを提案し,その性能を様々なノードおよびグラフ特性予測タスクで評価する。
  論文  参考訳（メタデータ） (2022-06-23T18:51:35Z)
• Graph Contrastive Learning with Adaptive Augmentation [23.37786673825192]
  本稿では,適応的拡張を用いた新しいグラフコントラスト表現学習法を提案する。 具体的には,ノードの集中度に基づく拡張スキームを設計し,重要な結合構造を明らかにする。 提案手法は,既存の最先端のベースラインを一貫して上回り,教師付きベースラインを超えている。
  論文  参考訳（メタデータ） (2020-10-27T15:12:21Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。