論文の概要: Are GATs Out of Balance?

• arxiv url: http://arxiv.org/abs/2310.07235v2
• Date: Wed, 25 Oct 2023 15:49:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 19:19:49.200717
• Title: Are GATs Out of Balance?
• Title（参考訳）: GATはバランスが取れていないか?
• Authors: Nimrah Mustafa, Aleksandar Bojchevski, Rebekka Burkholz
• Abstract要約: 本稿では,ノード近傍のアグリゲーションをパラメータ化注意係数で重み付けするグラフ注意ネットワーク(GAT)について検討する。 我々の主定理は、注意機構を持つ正の同次モデルの学習力学を研究するための足掛かりとなる。
• 参考スコア（独自算出の注目度）: 73.2500577189791
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While the expressive power and computational capabilities of graph neural networks (GNNs) have been theoretically studied, their optimization and learning dynamics, in general, remain largely unexplored. Our study undertakes the Graph Attention Network (GAT), a popular GNN architecture in which a node's neighborhood aggregation is weighted by parameterized attention coefficients. We derive a conservation law of GAT gradient flow dynamics, which explains why a high portion of parameters in GATs with standard initialization struggle to change during training. This effect is amplified in deeper GATs, which perform significantly worse than their shallow counterparts. To alleviate this problem, we devise an initialization scheme that balances the GAT network. Our approach i) allows more effective propagation of gradients and in turn enables trainability of deeper networks, and ii) attains a considerable speedup in training and convergence time in comparison to the standard initialization. Our main theorem serves as a stepping stone to studying the learning dynamics of positive homogeneous models with attention mechanisms.
• Abstract（参考訳）: グラフニューラルネットワーク(gnn)の表現力と計算能力は理論的に研究されているが、その最適化と学習のダイナミクスは概して未解明のままである。 本稿では,ノード近傍のアグリゲーションをパラメータ化注意係数で重み付けするGNNアーキテクチャであるグラフ注意ネットワーク(GAT)について述べる。 我々はGAT勾配流の保存則を導出し、GATの標準初期化を伴うパラメータがトレーニング中に変化に苦しむ理由を説明する。 この効果はより深いGATで増幅され、浅いGATよりも著しく低下する。 この問題を軽減するため,GATネットワークのバランスをとる初期化方式を考案した。 私たちのアプローチ 一 より効果的な勾配の伝播を可能とし、更に深いネットワークのトレーサビリティを可能とし、 二 標準初期化と比較して、訓練及び収束時間の大幅な高速化を達成すること。 我々の主定理は、注意機構を持つ正の均質モデルの学習ダイナミクスを研究するための足場となる。

関連論文リスト

• Attentional Graph Neural Networks for Robust Massive Network Localization [20.416879207269446]
  グラフニューラルネットワーク(GNN)は、機械学習における分類タスクの顕著なツールとして登場した。 本稿では,GNNとアテンション機構を統合し,ネットワークローカライゼーションという難解な非線形回帰問題に対処する。 我々はまず,厳密な非視線(NLOS)条件下でも例外的な精度を示すグラフ畳み込みネットワーク(GCN)に基づく新しいネットワークローカライゼーション手法を提案する。
  論文  参考訳（メタデータ） (2023-11-28T15:05:13Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• FairGAT: Fairness-aware Graph Attention Networks [9.492903649862761]
  グラフアテンションネットワーク(GAT)は、グラフベースのタスクに最も広く利用されているニューラルネットワーク構造の一つとなっている。 GATにおけるアテンションデザインがアルゴリズムバイアスに与える影響については検討されていない。 フェアネスを意識したアテンションデザインを活用する新しいアルゴリズムであるFairGATを開発した。
  論文  参考訳（メタデータ） (2023-03-26T00:10:20Z)
• Dynamics-aware Adversarial Attack of Adaptive Neural Networks [75.50214601278455]
  適応型ニューラルネットワークの動的対向攻撃問題について検討する。 本稿では,LGM(Leaded Gradient Method)を提案する。 我々のLGMは、動的無意識攻撃法と比較して、優れた敵攻撃性能を達成している。
  論文  参考訳（メタデータ） (2022-10-15T01:32:08Z)
• SGD with Large Step Sizes Learns Sparse Features [22.959258640051342]
  本稿では、ニューラルネットワークのトレーニングにおいて、グラディエント・ディフレッシュ(SGD)のダイナミクスの重要な特徴を紹介する。 より長いステップサイズでは、損失ランドスケープにおいてSGDは高く保たれ、暗黙の正規化がうまく機能し、スパース表現を見つけることができる。
  論文  参考訳（メタデータ） (2022-10-11T11:00:04Z)
• Towards Understanding Graph Neural Networks: An Algorithm Unrolling Perspective [9.426760895586428]
  本稿では,グラフ信号の復号化問題に対して,truncated Optimizationアルゴリズムに基づいて構築されたアンロールネットワークのクラスを紹介する。 GNNモデルのトレーニングプロセスは、低レベルのGSD問題による二段階最適化問題の解決と見なすことができる。 UGDGNNという表現モデル、すなわち、非線形勾配勾配GNNは、魅力的な理論的性質を継承する。
  論文  参考訳（メタデータ） (2022-06-09T12:54:03Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Dynamics-aware Adversarial Attack of 3D Sparse Convolution Network [75.1236305913734]
  ディープニューラルネットワークにおける動的に認識される敵攻撃問題について検討する。 ほとんどの既存の敵攻撃アルゴリズムは基本的な前提の下で設計されており、ネットワークアーキテクチャは攻撃プロセス全体を通して固定されている。 本稿では,LGM(Leaded Gradient Method)を提案する。
  論文  参考訳（メタデータ） (2021-12-17T10:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。