論文の概要: Gradient Derivation for Learnable Parameters in Graph Attention Networks

• arxiv url: http://arxiv.org/abs/2304.10939v1
• Date: Fri, 21 Apr 2023 13:23:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-24 14:41:28.415005
• Title: Gradient Derivation for Learnable Parameters in Graph Attention Networks
• Title（参考訳）: グラフ注意ネットワークにおける学習可能なパラメータの勾配導出
• Authors: Marion Neumeier, Andreas Tollk\"uhn, Sebastian Dorn, Michael Botsch, Wolfgang Utschick
• Abstract要約: この研究は、グラフ注意ネットワーク(GAT)の実装として広く使われているGATv2[4]のパラメータ勾配の包括的導出を提供する。 勾配流は統計的学習モデルのトレーニング力学に関する貴重な洞察を与えるため、この研究は GATv2 のトレーニング可能なモデルパラメータの勾配を求める。
• 参考スコア（独自算出の注目度）: 11.581071131903775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work provides a comprehensive derivation of the parameter gradients for GATv2 [4], a widely used implementation of Graph Attention Networks (GATs). GATs have proven to be powerful frameworks for processing graph-structured data and, hence, have been used in a range of applications. However, the achieved performance by these attempts has been found to be inconsistent across different datasets and the reasons for this remains an open research question. As the gradient flow provides valuable insights into the training dynamics of statistically learning models, this work obtains the gradients for the trainable model parameters of GATv2. The gradient derivations supplement the efforts of [2], where potential pitfalls of GATv2 are investigated.
• Abstract（参考訳）: この研究は、グラフ注意ネットワーク(GAT)の実装として広く使われているGATv2[4]のパラメータ勾配の包括的導出を提供する。 GATはグラフ構造化データを処理するための強力なフレームワークであることが証明されており、様々なアプリケーションで使われている。 しかし、これらの試みによって達成されたパフォーマンスは、異なるデータセット間で一貫性がないことが判明しており、その理由は未解決な研究課題である。 勾配流は統計的学習モデルのトレーニング力学に関する貴重な洞察を与えるため、この研究はGATv2のトレーニング可能なモデルパラメータの勾配を求める。 勾配の導出は、GATv2の潜在的な落とし穴を研究する[2]の努力を補う。

関連論文リスト

• Dynamic Decoupling of Placid Terminal Attractor-based Gradient Descent Algorithm [56.06235614890066]
  勾配降下(GD)と勾配降下(SGD)は多くのアプリケーションドメインで広く使われている。 本稿では, 勾配流の異なる段階における終端アトラクタに基づくGDのダイナミクスを慎重に解析する。
  論文  参考訳（メタデータ） (2024-09-10T14:15:56Z)
• Graph neural network surrogate for strategic transport planning [2.175217022338634]
  本稿では,戦略的輸送計画のための代理モデルとして,高度なグラフニューラルネットワーク(GNN)アーキテクチャの適用について検討する。 グラフ畳み込みネットワーク(GCN: Graph Convolution Network)を基盤とした先行研究に基づいて、より表現力のあるグラフ注意ネットワーク(GAT: Graph Attention Network)と確立されたGCNの比較分析を行った。 本稿では,グラフベースモデルにおけるオーバー・スムーシング問題に対処する新しいGAT変種(GATv3)を提案する。
  論文  参考訳（メタデータ） (2024-08-14T14:18:47Z)
• The Benefits of Reusing Batches for Gradient Descent in Two-Layer Networks: Breaking the Curse of Information and Leap Exponents [28.102697445508976]
  マルチインデックスターゲット関数を学習する際の2層ニューラルネットワークのトレーニングダイナミクスについて検討する。 本稿では,複数回バッチを再利用するマルチパス勾配勾配(GD)に着目し,どの関数が学習可能かという結論を大きく変えることを示す。 再使用したバッチでは,階段特性を満足しない関数であっても,ネットワークがターゲット部分空間と重なり合う2つのステップで達成できることが示される。
  論文  参考訳（メタデータ） (2024-02-05T17:30:42Z)
• Are GATs Out of Balance? [73.2500577189791]
  本稿では,ノード近傍のアグリゲーションをパラメータ化注意係数で重み付けするグラフ注意ネットワーク(GAT)について検討する。 我々の主定理は、注意機構を持つ正の同次モデルの学習力学を研究するための足掛かりとなる。
  論文  参考訳（メタデータ） (2023-10-11T06:53:05Z)
• Optimization and Interpretability of Graph Attention Networks for Small Sparse Graph Structures in Automotive Applications [11.581071131903775]
  本研究は、注意機構の理解を深め、因果的重要性を特定するための解釈可能性を分析することを目的とする。 自動車アプリケーションにとって、グラフ注意ネットワーク(GAT)は、機能埋め込み中にトラフィックシナリオのリレーショナル情報を含む、顕著に使用されるアーキテクチャである。
  論文  参考訳（メタデータ） (2023-05-25T15:55:59Z)
• Adaptive Depth Graph Attention Networks [19.673509341792606]
  グラフアテンションネットワーク(GAT)は、グラフ表現のための最も高度な学習アーキテクチャであると考えられている。 層数の増加に伴ってGATモデルの精度が制限される主な要因は,オーバーカッシング現象である。 本稿では,グラフの空間性に基づいた階層数を適応的に選択するGAT変種モデル-ADGATを提案する。
  論文  参考訳（メタデータ） (2023-01-16T05:22:29Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Deep Manifold Learning with Graph Mining [80.84145791017968]
  グラフマイニングのための非段階的決定層を持つ新しいグラフ深層モデルを提案する。 提案モデルでは,現行モデルと比較して最先端性能を実現している。
  論文  参考訳（メタデータ） (2022-07-18T04:34:08Z)
• On Training Implicit Models [75.20173180996501]
  ファントム勾配(ファントム勾配)と呼ばれる暗黙モデルに対する新しい勾配推定法を提案し、正確な勾配の計算コストを抑える。 大規模タスクの実験では、これらの軽量ファントム勾配が暗黙の訓練モデルの後方通過を約1.7倍加速することを示した。
  論文  参考訳（メタデータ） (2021-11-09T14:40:24Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。