論文の概要: Can Large Language Models Improve the Adversarial Robustness of Graph Neural Networks?
- arxiv url: http://arxiv.org/abs/2408.08685v1
- Date: Fri, 16 Aug 2024 11:58:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 15:35:21.491214
- Title: Can Large Language Models Improve the Adversarial Robustness of Graph Neural Networks?
- Title（参考訳）: 大規模言語モデルはグラフニューラルネットワークの対向ロバスト性を改善するか?
- Authors: Zhongjian Zhang, Xiao Wang, Huichi Zhou, Yue Yu, Mengmei Zhang, Cheng Yang, Chuan Shi,
- Abstract要約: グラフニューラルネットワーク(GNN)は、特にトポロジー攻撃に対する敵の摂動に対して脆弱である。
LLMに基づく頑健なグラフ構造推論フレームワーク LLM4RGNN を提案する。
大規模な実験により、LLM4RGNNは様々なGNN間のロバスト性を一貫して改善することが示された。
- 参考スコア（独自算出の注目度）: 45.55125612241908
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) are vulnerable to adversarial perturbations, especially for topology attacks, and many methods that improve the robustness of GNNs have received considerable attention. Recently, we have witnessed the significant success of large language models (LLMs), leading many to explore the great potential of LLMs on GNNs. However, they mainly focus on improving the performance of GNNs by utilizing LLMs to enhance the node features. Therefore, we ask: Will the robustness of GNNs also be enhanced with the powerful understanding and inference capabilities of LLMs? By presenting the empirical results, we find that despite that LLMs can improve the robustness of GNNs, there is still an average decrease of 23.1% in accuracy, implying that the GNNs remain extremely vulnerable against topology attack. Therefore, another question is how to extend the capabilities of LLMs on graph adversarial robustness. In this paper, we propose an LLM-based robust graph structure inference framework, LLM4RGNN, which distills the inference capabilities of GPT-4 into a local LLM for identifying malicious edges and an LM-based edge predictor for finding missing important edges, so as to recover a robust graph structure. Extensive experiments demonstrate that LLM4RGNN consistently improves the robustness across various GNNs. Even in some cases where the perturbation ratio increases to 40%, the accuracy of GNNs is still better than that on the clean graph.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、特にトポロジ攻撃に対する敵の摂動に対して脆弱であり、GNNの堅牢性を改善する多くの手法が注目されている。
近年,大規模言語モデル (LLM) の顕著な成功を目の当たりにしている。
しかし、主にLLMを利用してノード機能を強化することで、GNNの性能向上に重点を置いている。
LLMの強力な理解と推論能力によって,GNNの堅牢性も向上するのだろうか?
実験の結果から、LLMはGNNの堅牢性を改善することができるにもかかわらず、平均的な23.1%の精度低下がみられ、GNNはトポロジー攻撃に対して極めて脆弱であることが示された。
したがって、グラフ対向ロバスト性において LLM の能力をいかに拡張するかという問題もある。
本稿では,LLMに基づく頑健なグラフ構造推論フレームワーク LLM4RGNN を提案する。このフレームワークは,GPT-4 の推論能力をローカル LLM に蒸留し,悪意のあるエッジを識別する。
大規模な実験により、LLM4RGNNは様々なGNN間のロバスト性を一貫して改善することが示された。
摂動比が40%に増加する場合においても、GNNの精度はクリーングラフよりも優れている。
関連論文リスト
- Can Large Language Models Act as Ensembler for Multi-GNNs? [6.387816922598151]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための強力なモデルとして登場した。
GNNは、リッチテキストノード属性の固有の意味理解能力に欠けており、アプリケーションにおけるその有効性を制限している。
本研究は、意味情報と構造情報を統合するための堅牢で優れたソリューションを提供することにより、テキストによるグラフアンサンブル学習を推進している。
論文 参考訳（メタデータ） (2024-10-22T08:48:52Z) - Explainable AI Security: Exploring Robustness of Graph Neural Networks to Adversarial Attacks [14.89001880258583]
グラフニューラルネットワーク(GNN)は非常に成功したが、最近の研究では、GNNは敵の攻撃に弱いことが示されている。
本稿では,グラフデータパターン,モデル固有因子,および敵対例の転送可能性を考慮することで,GNNの対角的ロバスト性について検討する。
この作業は、GNNの脆弱性を照らし、堅牢なGNNを設計するための多くの有望な道を開く。
論文 参考訳（メタデータ） (2024-06-20T01:24:18Z) - LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework [30.54068909225463]
我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。
我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。
両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
論文 参考訳（メタデータ） (2024-05-22T18:17:20Z) - ELEGANT: Certified Defense on the Fairness of Graph Neural Networks [94.10433608311604]
グラフニューラルネットワーク(GNN)は,グラフベースのタスクにおいて,目立ったグラフ学習モデルとして登場した。
悪意のある攻撃者は、入力グラフデータに摂動を追加することで、予測の公平度を容易に損なうことができる。
本稿では, ELEGANT というフレームワークを提案し, GNN の公正度レベルにおける認証防御の新たな課題について検討する。
論文 参考訳（メタデータ） (2023-11-05T20:29:40Z) - Label-free Node Classification on Graphs with Large Language Models
(LLMS) [46.937442239949256]
本研究では,Large Language Models パイプライン LLM-GNN を用いたグラフ上でのラベルなしノード分類を導入する。
制限を緩和しながら、GNNとLLMの長所を反復する。
特に、LLM-GNNは1ドル未満の大規模データセットで74.9%の精度を達成できる。
論文 参考訳（メタデータ） (2023-10-07T03:14:11Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳（メタデータ） (2022-12-18T08:17:32Z) - A Comprehensive Survey on Trustworthy Graph Neural Networks: Privacy,
Robustness, Fairness, and Explainability [59.80140875337769]
グラフニューラルネットワーク(GNN)は近年,急速な発展を遂げている。
GNNは個人情報をリークしたり、敵対的攻撃に弱いり、トレーニングデータから社会的バイアスを継承したり、拡大したりすることができる。
本稿では、プライバシー、堅牢性、公正性、説明可能性の計算面におけるGNNの包括的調査を行う。
論文 参考訳（メタデータ） (2022-04-18T21:41:07Z) - Efficient Probabilistic Logic Reasoning with Graph Neural Networks [63.099999467118245]
マルコフ論理ネットワーク(MLN)は、多くの知識グラフ問題に対処するために用いられる。
MLNの推論は計算集約的であり、MLNの産業規模での応用は非常に困難である。
本稿では,表現力とモデルの単純さとのバランスのよいグラフニューラルネット(GNN)モデルであるExpressGNNを提案する。
論文 参考訳（メタデータ） (2020-01-29T23:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。