論文の概要: AdapterGNN: Parameter-Efficient Fine-Tuning Improves Generalization in GNNs

• arxiv url: http://arxiv.org/abs/2304.09595v2
• Date: Mon, 11 Dec 2023 06:06:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 02:58:09.369424
• Title: AdapterGNN: Parameter-Efficient Fine-Tuning Improves Generalization in GNNs
• Title（参考訳）: AdapterGNN: GNNの一般化を改善するパラメータ効率の良いファインチューニング
• Authors: Shengrui Li, Xueting Han, Jing Bai
• Abstract要約: 本稿では,グラフニューラルネットワーク(GNN)におけるPEFT手法の包括的比較について述べる。 本稿では,GNN向けに設計された新しいPEFT手法であるAdapterGNNを提案する。 本稿では,AdapterGNNが他のPEFT法よりも高い性能を実現していることを示す。
• 参考スコア（独自算出の注目度）: 2.69499085779099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning pre-trained models has recently yielded remarkable performance gains in graph neural networks (GNNs). In addition to pre-training techniques, inspired by the latest work in the natural language fields, more recent work has shifted towards applying effective fine-tuning approaches, such as parameter-efficient fine-tuning (PEFT). However, given the substantial differences between GNNs and transformer-based models, applying such approaches directly to GNNs proved to be less effective. In this paper, we present a comprehensive comparison of PEFT techniques for GNNs and propose a novel PEFT method specifically designed for GNNs, called AdapterGNN. AdapterGNN preserves the knowledge of the large pre-trained model and leverages highly expressive adapters for GNNs, which can adapt to downstream tasks effectively with only a few parameters, while also improving the model's generalization ability. Extensive experiments show that AdapterGNN achieves higher performance than other PEFT methods and is the only one consistently surpassing full fine-tuning (outperforming it by 1.6% and 5.7% in the chemistry and biology domains respectively, with only 5% and 4% of its parameters tuned) with lower generalization gaps. Moreover, we empirically show that a larger GNN model can have a worse generalization ability, which differs from the trend observed in large transformer-based models. Building upon this, we provide a theoretical justification for PEFT can improve generalization of GNNs by applying generalization bounds. Our code is available at https://github.com/Lucius-lsr/AdapterGNN.
• Abstract（参考訳）: 微調整された事前学習モデルは最近、グラフニューラルネットワーク(gnns)のパフォーマンス向上をもたらした。 自然言語分野の最新研究に触発された事前学習技術に加えて、より最近の研究はパラメーター効率の細かいチューニング(peft)のような効果的な微調整アプローチの適用へとシフトしている。 しかし、GNNとトランスフォーマーベースモデルとの大きな違いを考えると、そのようなアプローチをGNNに直接適用することは効果が低かった。 本稿では,GNNのためのPEFT手法を包括的に比較し,GNN向けに設計された新しいPEFT手法であるAdapterGNNを提案する。 adaptergnnは、事前学習された大規模モデルの知識を保存し、gnnの高度に表現力のあるアダプタを活用し、少数のパラメータで下流タスクに効果的に対応できると同時に、モデルの一般化能力も向上している。 大規模な実験により、AdapterGNNは他のPEFT法よりも高い性能を達成し、完全な微調整(化学領域ではそれぞれ1.6%、生物学領域では5.7%、パラメータ調整では5%と4%)を連続的に上回っている。 さらに,より大規模なGNNモデルでは,大きなトランスフォーマーモデルで観測される傾向とは異なる,より悪い一般化能力を持つことを示す。 これに基づいて、PEFT が一般化境界を適用して GNN の一般化を改善するための理論的正当性を提供する。 私たちのコードはhttps://github.com/Lucius-lsr/AdapterGNNで利用可能です。

関連論文リスト

• Unleashing the potential of GNNs via Bi-directional Knowledge Transfer [58.64807174714959]
  Bi-directional Knowledge Transfer (BiKT) は、オリジナルのアーキテクチャを変更することなく、機能変換操作の可能性を解き放つためのプラグイン・アンド・プレイ方式である。 BiKTはオリジナルのGNNよりも0.5%-4%パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-26T04:11:49Z)
• Enhancing Deep Neural Network Training Efficiency and Performance through Linear Prediction [0.0]
  ディープニューラルネットワーク(DNN)は、コンピュータビジョンや自然言語処理など、さまざまな分野で大きな成功を収めている。 本稿では,DNNの学習効率を最適化する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T03:11:30Z)
• Understanding and Improving Deep Graph Neural Networks: A Probabilistic Graphical Model Perspective [22.82625446308785]
  グラフニューラルネットワーク(GNN)の理解のための新しい視点を提案する。 本研究では,深いGNNに着目し,その理解のための新しい視点を提案する。 我々はより強力なGNN:結合グラフニューラルネットワーク(CoGNet)を設計する。
  論文  参考訳（メタデータ） (2023-01-25T12:02:12Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• CAP: Co-Adversarial Perturbation on Weights and Features for Improving Generalization of Graph Neural Networks [59.692017490560275]
  敵の訓練は、敵の攻撃に対するモデルの堅牢性を改善するために広く実証されてきた。 グラフ解析問題におけるGNNの一般化能力をどのように改善するかは、まだ不明である。 我々は、重みと特徴量の観点から共振器摂動(CAP)最適化問題を構築し、重みと特徴の損失を交互に平らにする交互対振器摂動アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-10-28T02:28:13Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
  グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。 標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。 本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。 我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
  論文  参考訳（メタデータ） (2020-10-02T19:53:05Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。