論文の概要: GraphLoRA: Structure-Aware Contrastive Low-Rank Adaptation for Cross-Graph Transfer Learning
- arxiv url: http://arxiv.org/abs/2409.16670v1
- Date: Wed, 25 Sep 2024 06:57:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-27 05:12:32.835228
- Title: GraphLoRA: Structure-Aware Contrastive Low-Rank Adaptation for Cross-Graph Transfer Learning
- Title（参考訳）: GraphLoRA: クロスグラフ変換学習のための構造対応コントラスト低ランク適応
- Authors: Zhe-Rui Yang, Jindong Han, Chang-Dong Wang, Hao Liu,
- Abstract要約: グラフニューラルネットワーク(GNN)は、様々なグラフ解析タスクを扱うのに顕著な習熟度を示した。
汎用性にもかかわらず、GNNはトランスファービリティにおいて重大な課題に直面し、現実のアプリケーションでの利用を制限している。
グラフ領域によく訓練されたGNNを転送するための有効かつパラメータ効率のよいGraphLoRAを提案する。
- 参考スコア（独自算出の注目度）: 17.85404473268992
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph Neural Networks (GNNs) have demonstrated remarkable proficiency in handling a range of graph analytical tasks across various domains, such as e-commerce and social networks. Despite their versatility, GNNs face significant challenges in transferability, limiting their utility in real-world applications. Existing research in GNN transfer learning overlooks discrepancies in distribution among various graph datasets, facing challenges when transferring across different distributions. How to effectively adopt a well-trained GNN to new graphs with varying feature and structural distributions remains an under-explored problem. Taking inspiration from the success of Low-Rank Adaptation (LoRA) in adapting large language models to various domains, we propose GraphLoRA, an effective and parameter-efficient method for transferring well-trained GNNs to diverse graph domains. Specifically, we first propose a Structure-aware Maximum Mean Discrepancy (SMMD) to align divergent node feature distributions across source and target graphs. Moreover, we introduce low-rank adaptation by injecting a small trainable GNN alongside the pre-trained one, effectively bridging structural distribution gaps while mitigating the catastrophic forgetting. Additionally, a structure-aware regularization objective is proposed to enhance the adaptability of the pre-trained GNN to target graph with scarce supervision labels. Extensive experiments on six real-world datasets demonstrate the effectiveness of GraphLoRA against eleven baselines by tuning only 20% of parameters, even across disparate graph domains. The code is available at https://anonymous.4open.science/r/GraphLoRA.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、eコマースやソーシャルネットワークなど、さまざまな領域にわたるグラフ分析タスクの処理において、顕著な習熟性を示している。
汎用性にもかかわらず、GNNはトランスファービリティにおいて重大な課題に直面し、現実のアプリケーションでの利用を制限している。
GNN転送学習における既存の研究は、さまざまなグラフデータセット間の分散の相違を見落とし、異なる分散間で転送する際の課題に直面している。
様々な特徴と構造分布を持つグラフに対して、十分に訓練されたGNNを効果的に採用する方法は、まだ未解決の問題である。
様々な領域に大規模言語モデルを適用する上でのローランド適応(LoRA)の成功から着想を得たグラフLoRAは、よく訓練されたGNNを多様なグラフドメインに転送するための効率的かつパラメータ効率の高い方法である。
具体的には、まず、ソースグラフとターゲットグラフにまたがる分岐ノードの特徴分布を整列する構造対応の最大平均離散性(SMMD)を提案する。
さらに, トレーニング済みのGNNに少量のトレーニング可能なGNNを注入し, 破滅的忘れ込みを軽減しつつ, 構造的分布ギャップを効果的に埋めることにより, 低ランク適応を実現する。
また,事前学習したGNNの目標グラフへの適応性を高めるために,教師ラベルの少ない構造対応正規化目標を提案する。
6つの実世界のデータセットに対する大規模な実験は、異なるグラフドメインでさえパラメータの20%だけをチューニングすることで、GraphLoRAが11のベースラインに対して有効であることを実証している。
コードはhttps://anonymous.4open.science/r/GraphLoRAで公開されている。
関連論文リスト
- Graph Structure Prompt Learning: A Novel Methodology to Improve Performance of Graph Neural Networks [13.655670509818144]
グラフネットワーク(GNN)のトレーニングを強化するための新しいグラフ構造Prompt Learning法(GPL)を提案する。
GPLはタスク非依存のグラフ構造損失を利用して、GNNが下流タスクを同時に解決しながら固有のグラフ特性を学習することを奨励している。
11の実世界のデータセットの実験では、ニューラルネットワークによってトレーニングされた後、GNNはノード分類、グラフ分類、エッジタスクにおいて、元のパフォーマンスを大幅に上回った。
論文 参考訳（メタデータ） (2024-07-16T03:59:18Z) - Rethinking Propagation for Unsupervised Graph Domain Adaptation [17.443218657417454]
Unlabelled Graph Domain Adaptation (UGDA)は、ラベル付きソースグラフから教師なしターゲットグラフに知識を転送することを目的としている。
本稿では,グラフ領域適応のためのA2GNNというシンプルな手法を提案する。
論文 参考訳（メタデータ） (2024-02-08T13:24:57Z) - Learning to Reweight for Graph Neural Network [63.978102332612906]
グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。
既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。
本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
論文 参考訳（メタデータ） (2023-12-19T12:25:10Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2023-09-26T13:09:43Z) - Transferability of Graph Neural Networks using Graphon and Sampling Theories [0.0]
グラフニューラルネットワーク(GNN)は、さまざまなドメインでグラフベースの情報を処理するための強力なツールとなっている。
GNNの望ましい特性は転送可能性であり、トレーニングされたネットワークは、その正確性を再トレーニングすることなく、異なるグラフから情報を交換することができる。
我々は,2層グラファイトニューラルネットワーク(WNN)アーキテクチャを明示することにより,GNNへのグラファイトの適用に寄与する。
論文 参考訳（メタデータ） (2023-07-25T02:11:41Z) - Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。
我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
論文 参考訳（メタデータ） (2022-10-27T16:00:45Z) - MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。
我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
論文 参考訳（メタデータ） (2022-08-21T15:12:08Z) - ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。
複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
論文 参考訳（メタデータ） (2021-10-15T07:18:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。