論文の概要: Adaptive Depth Graph Attention Networks

• arxiv url: http://arxiv.org/abs/2301.06265v1
• Date: Mon, 16 Jan 2023 05:22:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 16:36:28.025932
• Title: Adaptive Depth Graph Attention Networks
• Title（参考訳）: アダプティブ深度グラフアテンションネットワーク
• Authors: Jingbo Zhou, Yixuan Du, Ruqiong Zhang, Rui Zhang
• Abstract要約: グラフアテンションネットワーク(GAT)は、グラフ表現のための最も高度な学習アーキテクチャであると考えられている。 層数の増加に伴ってGATモデルの精度が制限される主な要因は,オーバーカッシング現象である。 本稿では,グラフの空間性に基づいた階層数を適応的に選択するGAT変種モデル-ADGATを提案する。
• 参考スコア（独自算出の注目度）: 19.673509341792606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As one of the most popular GNN architectures, the graph attention networks (GAT) is considered the most advanced learning architecture for graph representation and has been widely used in various graph mining tasks with impressive results. However, since GAT was proposed, none of the existing studies have provided systematic insight into the relationship between the performance of GAT and the number of layers, which is a critical issue in guiding model performance improvement. In this paper, we perform a systematic experimental evaluation and based on the experimental results, we find two important facts: (1) the main factor limiting the accuracy of the GAT model as the number of layers increases is the oversquashing phenomenon; (2) among the previous improvements applied to the GNN model, only the residual connection can significantly improve the GAT model performance. We combine these two important findings to provide a theoretical explanation that it is the residual connection that mitigates the loss of original feature information due to oversquashing and thus improves the deep GAT model performance. This provides empirical insights and guidelines for researchers to design the GAT variant model with appropriate depth and well performance. To demonstrate the effectiveness of our proposed guidelines, we propose a GAT variant model-ADGAT that adaptively selects the number of layers based on the sparsity of the graph, and experimentally demonstrate that the effectiveness of our model is significantly improved over the original GAT.
• Abstract（参考訳）: 最も人気のあるgnnアーキテクチャの1つとして、グラフアテンションネットワーク(gat)はグラフ表現のための最も高度な学習アーキテクチャと考えられており、印象的な結果を含む様々なグラフマイニングタスクで広く使われている。 しかし、GATが提案されて以来、既存の研究は、GATの性能とレイヤー数との関係について体系的な洞察を与えていない。 本稿では,系統的な実験を行い,実験結果に基づいて,(1)レイヤー数の増加に伴ってGATモデルの精度を制限する主な要因がオーバーカッシング現象であり,(2)GNNモデルに適用されたこれまでの改善の中で,GATモデルの性能を著しく向上させることができるのは残コネクションのみである,という2つの重要な事実を見出した。 これら2つの重要な知見を組み合わせることで、過度なオーバーカッシングによる特徴情報の損失を軽減し、深いGATモデルの性能を向上させるという理論的な説明を提供する。 これは、研究者が適切な深さと良好な性能でGAT変種モデルを設計するための実証的な洞察とガイドラインを提供する。 提案手法の有効性を示すため,我々は,グラフのスパース性に基づいてレイヤ数を適応的に選択するgat変種モデルアドギャットを提案し,本モデルの有効性が元のgatよりも大幅に向上していることを実験的に実証する。

関連論文リスト

• Graph neural network surrogate for strategic transport planning [2.175217022338634]
  本稿では,戦略的輸送計画のための代理モデルとして,高度なグラフニューラルネットワーク(GNN)アーキテクチャの適用について検討する。 グラフ畳み込みネットワーク(GCN: Graph Convolution Network)を基盤とした先行研究に基づいて、より表現力のあるグラフ注意ネットワーク(GAT: Graph Attention Network)と確立されたGCNの比較分析を行った。 本稿では,グラフベースモデルにおけるオーバー・スムーシング問題に対処する新しいGAT変種(GATv3)を提案する。
  論文  参考訳（メタデータ） (2024-08-14T14:18:47Z)
• Are GATs Out of Balance? [73.2500577189791]
  本稿では,ノード近傍のアグリゲーションをパラメータ化注意係数で重み付けするグラフ注意ネットワーク(GAT)について検討する。 我々の主定理は、注意機構を持つ正の同次モデルの学習力学を研究するための足掛かりとなる。
  論文  参考訳（メタデータ） (2023-10-11T06:53:05Z)
• Challenging the Myth of Graph Collaborative Filtering: a Reasoned and Reproducibility-driven Analysis [50.972595036856035]
  本稿では,6つの人気グラフと最近のグラフ推薦モデルの結果を再現するコードを提案する。 これらのグラフモデルと従来の協調フィルタリングモデルを比較する。 ユーザの近所からの情報フローを調べることにより,データセット構造における内在的特徴にどのようなモデルが影響するかを同定することを目的とする。
  論文  参考訳（メタデータ） (2023-08-01T09:31:44Z)
• Optimization and Interpretability of Graph Attention Networks for Small Sparse Graph Structures in Automotive Applications [11.581071131903775]
  本研究は、注意機構の理解を深め、因果的重要性を特定するための解釈可能性を分析することを目的とする。 自動車アプリケーションにとって、グラフ注意ネットワーク(GAT)は、機能埋め込み中にトラフィックシナリオのリレーショナル情報を含む、顕著に使用されるアーキテクチャである。
  論文  参考訳（メタデータ） (2023-05-25T15:55:59Z)
• Gradient Derivation for Learnable Parameters in Graph Attention Networks [11.581071131903775]
  この研究は、グラフ注意ネットワーク(GAT)の実装として広く使われているGATv2[4]のパラメータ勾配の包括的導出を提供する。 勾配流は統計的学習モデルのトレーニング力学に関する貴重な洞察を与えるため、この研究は GATv2 のトレーニング可能なモデルパラメータの勾配を求める。
  論文  参考訳（メタデータ） (2023-04-21T13:23:38Z)
• Studying How to Efficiently and Effectively Guide Models with Explanations [52.498055901649025]
  「モデルガイダンス」とは「正しい理由のために正しい」ことを保証するためにモデルの説明を規則化する考え方である。 PASCAL VOC 2007 および MS COCO 2014 データセット上で, 各種損失関数, 帰属方法, モデル, 誘導深度について詳細な評価を行う。 具体的には、一般的に使用されるセグメンテーションマスクよりもはるかに安価で入手可能なバウンディングボックスアノテーションを用いてモデルをガイドする。
  論文  参考訳（メタデータ） (2023-03-21T15:34:50Z)
• Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
  予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。 実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-10-07T02:12:34Z)
• Adaptive Fine-Grained Predicates Learning for Scene Graph Generation [122.4588401267544]
  一般的なシーングラフ生成(SGG)モデルは、頭部の述語を予測する傾向があり、再バランス戦略は尾のカテゴリを好む。 本稿では,SGGの難解な述語を識別することを目的とした適応的微粒述語学習(FGPL-A)を提案する。 提案したモデル非依存戦略は,VG-SGGおよびGQA-SGGデータセットのベンチマークモデルの性能を最大175%,Mean Recall@100では76%向上させ,新たな最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-11T03:37:57Z)
• Tackling Oversmoothing of GNNs with Contrastive Learning [35.88575306925201]
  グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。 オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。 本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T15:56:16Z)
• Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach [55.44107800525776]
  グラフ畳み込みネットワーク(GCN)は、最先端のグラフベースの表現学習モデルである。 本稿では、GCNベースの協調フィルタリング(CF)ベースのレコメンダシステム(RS)について再検討する。 単純なグラフ畳み込みネットワークの理論と整合して,非線形性を取り除くことで推奨性能が向上することを示す。 本稿では,ユーザ・イテム相互作用モデリングを用いたCF用に特別に設計された残差ネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2020-01-28T04:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。