論文の概要: Search to Fine-tune Pre-trained Graph Neural Networks for Graph-level Tasks

• arxiv url: http://arxiv.org/abs/2308.06960v2
• Date: Fri, 1 Mar 2024 11:52:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-04 14:19:46.332627
• Title: Search to Fine-tune Pre-trained Graph Neural Networks for Graph-level Tasks
• Title（参考訳）: グラフレベルタスクのための微調整済みグラフニューラルネットワークの探索
• Authors: Zhili Wang, Shimin Di, Lei Chen, Xiaofang Zhou
• Abstract要約: グラフニューラルネットワーク(GNN)は多くのグラフ関連タスクで前例のない成功を収めた。 最近の取り組みでは、大規模未ラベルグラフ上でGNNを事前訓練し、未ラベルグラフからの知識を目標下流タスクに適応させようとしている。 微調整の重要性にもかかわらず、現在のGNNの事前訓練作業は、優れた微調整戦略の設計を無視することが多い。
• 参考スコア（独自算出の注目度）: 22.446655655309854
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recently, graph neural networks (GNNs) have shown its unprecedented success in many graph-related tasks. However, GNNs face the label scarcity issue as other neural networks do. Thus, recent efforts try to pre-train GNNs on a large-scale unlabeled graph and adapt the knowledge from the unlabeled graph to the target downstream task. The adaptation is generally achieved by fine-tuning the pre-trained GNNs with a limited number of labeled data. Despite the importance of fine-tuning, current GNNs pre-training works often ignore designing a good fine-tuning strategy to better leverage transferred knowledge and improve the performance on downstream tasks. Only few works start to investigate a better fine-tuning strategy for pre-trained GNNs. But their designs either have strong assumptions or overlook the data-aware issue for various downstream datasets. Therefore, we aim to design a better fine-tuning strategy for pre-trained GNNs to improve the model performance in this paper. Given a pre-trained GNN, we propose to search to fine-tune pre-trained graph neural networks for graph-level tasks (S2PGNN), which adaptively design a suitable fine-tuning framework for the given labeled data on the downstream task. To ensure the improvement brought by searching fine-tuning strategy, we carefully summarize a proper search space of fine-tuning framework that is suitable for GNNs. The empirical studies show that S2PGNN can be implemented on the top of 10 famous pre-trained GNNs and consistently improve their performance. Besides, S2PGNN achieves better performance than existing fine-tuning strategies within and outside the GNN area. Our code is publicly available at \url{https://anonymous.4open.science/r/code_icde2024-A9CB/}.
• Abstract（参考訳）: 近年、グラフニューラルネットワーク(GNN)は多くのグラフ関連タスクにおいて前例のない成功を収めている。 しかし、GNNは他のニューラルネットワークのようにラベル不足の問題に直面している。 このように、近年の取り組みでは、大規模未ラベルグラフ上でGNNを事前訓練し、未ラベルグラフからの知識を目標下流タスクに適応させようとしている。 この適応は、学習済みのGNNをラベル付きデータに限定して微調整することで達成される。 微調整の重要性にもかかわらず、現在のGNNの事前訓練作業は、転送された知識を活用し、下流タスクのパフォーマンスを改善するための優れた微調整戦略を無視することが多い。 事前訓練されたGNNのより優れた微調整戦略を調査する作業はごくわずかである。 しかし、彼らの設計は強い仮定を持つか、さまざまな下流のデータセットでデータ認識の問題を見落としている。 そこで本論文では,モデル性能を改善するために,事前学習したGNNに対して,より優れた微調整戦略を設計することを目的とする。 事前学習したGNNを前提として、グラフレベルタスク(S2PGNN)のための微調整済みグラフニューラルネットワークを探索し、ダウンストリームタスク上のラベル付きデータに適した微調整フレームワークを適応的に設計する。 微調整戦略の探索によってもたらされる改善を確実にするために,gnnに適した微調整フレームワークの適切な検索空間を慎重に要約する。 実験により、S2PGNNは10の有名な訓練済みGNNの上位に実装でき、その性能を継続的に改善できることが示された。 さらに、S2PGNNは、GNNエリア内外の既存の微調整戦略よりも優れたパフォーマンスを実現している。 我々のコードは \url{https://anonymous.4open.science/r/code_icde2024-A9CB/} で公開されている。

関連論文リスト

• GNNEvaluator: Evaluating GNN Performance On Unseen Graphs Without Labels [81.93520935479984]
  本稿では,ラベル付きおよび観測されたグラフに基づいて学習した特定のGNNモデルの性能を評価することを目的とした,新しい問題であるGNNモデル評価について検討する。 本稿では,(1) DiscGraph セット構築と(2) GNNEvaluator トレーニングと推論を含む2段階の GNN モデル評価フレームワークを提案する。 DiscGraphセットからの効果的なトレーニング監督の下で、GNNEvaluatorは、評価対象であるGNNモデルのノード分類精度を正確に推定することを学ぶ。
  論文  参考訳（メタデータ） (2023-10-23T05:51:59Z)
• GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。 GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。 本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
  論文  参考訳（メタデータ） (2023-03-20T18:24:01Z)
• Distributed Graph Neural Network Training: A Survey [51.77035975191926]
  グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。 治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
  論文  参考訳（メタデータ） (2022-11-01T01:57:00Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)
• Graph Random Neural Network for Semi-Supervised Learning on Graphs [36.218650686748546]
  グラフニューラルネットワーク(GNN)が広範に研究されているグラフ上での半教師あり学習の問題について検討する。 既存のGNNの多くは、ラベル付きノードが不足している場合、本質的に過度なスムース、非ロバスト性、および弱一般化の制限に悩まされている。 本稿では,これらの問題に対処するシンプルなフレームワークである Graph R NEURAL NETWORKS (GRAND) を提案する。
  論文  参考訳（メタデータ） (2020-05-22T09:40:13Z)
• Self-Enhanced GNN: Improving Graph Neural Networks Using Model Outputs [20.197085398581397]
  グラフニューラルネットワーク(GNN)は最近、グラフベースのタスクにおける優れたパフォーマンスのために、多くの注目を集めている。 本稿では,既存のGNNモデルの出力を用いて,入力データの品質を向上させる自己強化型GNN(SEG)を提案する。 SEGは、GCN、GAT、SGCといったよく知られたGNNモデルのさまざまなデータセットのパフォーマンスを一貫して改善する。
  論文  参考訳（メタデータ） (2020-02-18T12:27:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。