論文の概要: Transfer Learning of Graph Neural Networks with Ego-graph Information Maximization

• arxiv url: http://arxiv.org/abs/2009.05204v2
• Date: Tue, 26 Oct 2021 17:50:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 20:59:30.262585
• Title: Transfer Learning of Graph Neural Networks with Ego-graph Information Maximization
• Title（参考訳）: ego-graph情報最大化によるグラフニューラルネットワークの転送学習
• Authors: Qi Zhu, Carl Yang, Yidan Xu, Haonan Wang, Chao Zhang, Jiawei Han
• Abstract要約: グラフニューラルネットワーク(GNN)は、様々なアプリケーションにおいて優れたパフォーマンスを実現しているが、大規模グラフのトレーニングには費用がかかる。 本研究では,GNNの伝達学習のための理論的基盤と実用的有用な枠組みを確立する。
• 参考スコア（独自算出の注目度）: 41.867290324754094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) have achieved superior performance in various applications, but training dedicated GNNs can be costly for large-scale graphs. Some recent work started to study the pre-training of GNNs. However, none of them provide theoretical insights into the design of their frameworks, or clear requirements and guarantees towards their transferability. In this work, we establish a theoretically grounded and practically useful framework for the transfer learning of GNNs. Firstly, we propose a novel view towards the essential graph information and advocate the capturing of it as the goal of transferable GNN training, which motivates the design of EGI (Ego-Graph Information maximization) to analytically achieve this goal. Secondly, when node features are structure-relevant, we conduct an analysis of EGI transferability regarding the difference between the local graph Laplacians of the source and target graphs. We conduct controlled synthetic experiments to directly justify our theoretical conclusions. Comprehensive experiments on two real-world network datasets show consistent results in the analyzed setting of direct-transfering, while those on large-scale knowledge graphs show promising results in the more practical setting of transfering with fine-tuning.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、様々なアプリケーションにおいて優れたパフォーマンスを実現しているが、大規模グラフのトレーニングには費用がかかる。 いくつかの最近の研究は、GNNの事前訓練の研究を始めた。 しかしながら、フレームワークの設計に関する理論的洞察や、移行可能性に対する明確な要件や保証は、いずれも提供されていない。 本研究では,GNNの伝達学習のための理論的基盤と実用的有用な枠組みを確立する。 まず,本質的なグラフ情報に対する新しい視点を提案し,その獲得を,egi(ego-graph information maximization)の設計を動機付けて解析的に達成するトランスファー可能なgnnトレーニングの目標として提唱する。 次に,ノードの特徴が構造的関係にある場合,ソースの局所グラフラプラシアンと対象グラフの違いに関するegi転送可能性の解析を行う。 制御された合成実験を行い、理論的な結論を直接正当化する。 2つの実世界のネットワークデータセットに関する包括的実験は、分析された直接転送の設定において一貫した結果を示す一方、大規模知識グラフ上の実験は、微調整による転送のより実用的な設定において有望な結果を示す。

関連論文リスト

• GraphLoRA: Structure-Aware Contrastive Low-Rank Adaptation for Cross-Graph Transfer Learning [17.85404473268992]
  グラフニューラルネットワーク(GNN)は、様々なグラフ解析タスクを扱うのに顕著な習熟度を示した。 汎用性にもかかわらず、GNNはトランスファービリティにおいて重大な課題に直面し、現実のアプリケーションでの利用を制限している。 グラフ領域によく訓練されたGNNを転送するための有効かつパラメータ効率のよいGraphLoRAを提案する。
  論文  参考訳（メタデータ） (2024-09-25T06:57:42Z)
• Rethinking Propagation for Unsupervised Graph Domain Adaptation [17.443218657417454]
  Unlabelled Graph Domain Adaptation (UGDA)は、ラベル付きソースグラフから教師なしターゲットグラフに知識を転送することを目的としている。 本稿では,グラフ領域適応のためのA2GNNというシンプルな手法を提案する。
  論文  参考訳（メタデータ） (2024-02-08T13:24:57Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• An Empirical Study of Retrieval-enhanced Graph Neural Networks [48.99347386689936]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習に有効なツールである。 本稿では,グラフニューラルネットワークモデルの選択に非依存な GraphRETRIEVAL という検索強化方式を提案する。 我々は13のデータセットに対して包括的な実験を行い、GRAPHRETRIEVALが既存のGNNよりも大幅に改善されていることを観察した。
  論文  参考訳（メタデータ） (2022-06-01T09:59:09Z)
• Investigating Transfer Learning in Graph Neural Networks [2.320417845168326]
  グラフニューラルネットワーク(GNN)は、グラフ空間で使用するように拡張することで、ディープラーニングモデルの成功に基づいて構築される。 トランスファーラーニングは、従来のディープラーニング問題に対して非常に成功している。 本研究は,トランスファーラーニングがGNNに有効であることを示し,ソースタスクとGNNの選択が一般化可能な知識を学習する能力にどのように影響するかを説明する。
  論文  参考訳（メタデータ） (2022-02-01T20:33:15Z)
• An Analysis of Attentive Walk-Aggregating Graph Neural Networks [34.866935881726256]
  グラフニューラルネットワーク(GNN)は強力な表現力を持っていることが示されている。 AWAREと呼ばれる新しいGNNモデルを提案し、アテンションスキームを用いて、グラフ内のウォークに関する情報を集約する。
  論文  参考訳（メタデータ） (2021-10-06T11:41:12Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Node Masking: Making Graph Neural Networks Generalize and Scale Better [71.51292866945471]
  グラフニューラルネットワーク(GNN)は近年,多くの関心を集めている。 本稿では,芸術空間のGNNの状態によって実行される操作をよりよく可視化するために,いくつかの理論ツールを利用する。 私たちはNode Maskingというシンプルなコンセプトを導入しました。
  論文  参考訳（メタデータ） (2020-01-17T06:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。