論文の概要: AdapterGNN: Efficient Delta Tuning Improves Generalization Ability in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2304.09595v1
• Date: Wed, 19 Apr 2023 12:00:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-20 14:42:15.294254
• Title: AdapterGNN: Efficient Delta Tuning Improves Generalization Ability in Graph Neural Networks
• Title（参考訳）: AdapterGNN: グラフニューラルネットワークの一般化能力を改善する効率的なデルタチューニング
• Authors: Shengrui Li, Xueting Han, Jing Bai
• Abstract要約: グラフニューラルネットワーク(GNN)におけるデルタチューニング手法の総合比較について述べる。 本稿では,GNN向けに設計された新しいデルタチューニング手法であるAdapterGNNを提案する。 その結果,AdapterGNNは,化学・生物学領域でそれぞれ1.4%と5.5%の微調整を行い,そのパラメータは5%に過ぎなかった。
• 参考スコア（独自算出の注目度）: 3.6225788967927293
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning pre-trained models has recently yielded remarkable performance gains in graph neural networks (GNNs). In addition to pre-training techniques, inspired by the latest work in the natural language fields, more recent work has shifted towards applying effective fine-tuning approaches, such as parameter-efficient tuning (delta tuning). However, given the substantial differences between GNNs and transformer-based models, applying such approaches directly to GNNs proved to be less effective. In this paper, we present a comprehensive comparison of delta tuning techniques for GNNs and propose a novel delta tuning method specifically designed for GNNs, called AdapterGNN. AdapterGNN preserves the knowledge of the large pre-trained model and leverages highly expressive adapters for GNNs, which can adapt to downstream tasks effectively with only a few parameters, while also improving the model's generalization ability on the downstream tasks. Extensive experiments show that AdapterGNN achieves higher evaluation performance (outperforming full fine-tuning by 1.4% and 5.5% in the chemistry and biology domains respectively, with only 5% of its parameters tuned) and lower generalization gaps compared to full fine-tuning. Moreover, we empirically show that a larger GNN model can have a worse generalization ability, which differs from the trend observed in large language models. We have also provided a theoretical justification for delta tuning can improve the generalization ability of GNNs by applying generalization bounds.
• Abstract（参考訳）: 微調整された事前学習モデルは最近、グラフニューラルネットワーク(gnns)のパフォーマンス向上をもたらした。 自然言語分野における最新の研究に触発された事前学習技術に加えて、近年ではパラメータ効率のチューニング(デルタチューニング)のような効果的な微調整アプローチへと移行している。 しかし、GNNとトランスフォーマーベースモデルとの大きな違いを考えると、そのようなアプローチをGNNに直接適用することは効果が低かった。 本稿では,GNNのデルタチューニング手法を網羅的に比較し,GNN向けに設計された新しいデルタチューニング手法であるAdapterGNNを提案する。 adaptergnnは、事前学習された大規模モデルの知識を保存し、いくつかのパラメータで効果的に下流タスクに適応できるgnn用の高度に表現力のあるアダプタを活用し、下流タスクでのモデルの一般化能力を向上させる。 広範囲な実験により、AdapterGNNは、完全な微調整よりも高い評価性能(化学領域と生物学領域でそれぞれ1.4%と5.5%、パラメータの5%しか調整されていない)と低い一般化ギャップを達成することが示された。 さらに,より大規模なGNNモデルは,大規模言語モデルで見られる傾向と異なる,より悪い一般化能力を持つことを示す。 また、デルタチューニングの理論的正当化により、一般化境界を適用することにより、GNNの一般化能力を向上させることができる。

関連論文リスト

• Unleashing the potential of GNNs via Bi-directional Knowledge Transfer [58.64807174714959]
  Bi-directional Knowledge Transfer (BiKT) は、オリジナルのアーキテクチャを変更することなく、機能変換操作の可能性を解き放つためのプラグイン・アンド・プレイ方式である。 BiKTはオリジナルのGNNよりも0.5%-4%パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-26T04:11:49Z)
• Enhancing Deep Neural Network Training Efficiency and Performance through Linear Prediction [0.0]
  ディープニューラルネットワーク(DNN)は、コンピュータビジョンや自然言語処理など、さまざまな分野で大きな成功を収めている。 本稿では,DNNの学習効率を最適化する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T03:11:30Z)
• Understanding and Improving Deep Graph Neural Networks: A Probabilistic Graphical Model Perspective [22.82625446308785]
  グラフニューラルネットワーク(GNN)の理解のための新しい視点を提案する。 本研究では,深いGNNに着目し,その理解のための新しい視点を提案する。 我々はより強力なGNN:結合グラフニューラルネットワーク(CoGNet)を設計する。
  論文  参考訳（メタデータ） (2023-01-25T12:02:12Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• CAP: Co-Adversarial Perturbation on Weights and Features for Improving Generalization of Graph Neural Networks [59.692017490560275]
  敵の訓練は、敵の攻撃に対するモデルの堅牢性を改善するために広く実証されてきた。 グラフ解析問題におけるGNNの一般化能力をどのように改善するかは、まだ不明である。 我々は、重みと特徴量の観点から共振器摂動(CAP)最適化問題を構築し、重みと特徴の損失を交互に平らにする交互対振器摂動アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-10-28T02:28:13Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
  グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。 標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。 本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。 我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
  論文  参考訳（メタデータ） (2020-10-02T19:53:05Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。