論文の概要: Learning on Graphs with Large Language Models(LLMs): A Deep Dive into Model Robustness

• arxiv url: http://arxiv.org/abs/2407.12068v2
• Date: Sun, 28 Jul 2024 16:44:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 20:41:58.210724
• Title: Learning on Graphs with Large Language Models(LLMs): A Deep Dive into Model Robustness
• Title（参考訳）: 大規模言語モデル(LLM)を用いたグラフの学習 : モデルロバストネスの深層化
• Authors: Kai Guo, Zewen Liu, Zhikai Chen, Hongzhi Wen, Wei Jin, Jiliang Tang, Yi Chang,
• Abstract要約: 大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示している。 LLMがグラフ上での学習において堅牢性を示すかどうかは不明である。
• 参考スコア（独自算出の注目度）: 39.57155321515097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable performance across various natural language processing tasks. Recently, several LLMs-based pipelines have been developed to enhance learning on graphs with text attributes, showcasing promising performance. However, graphs are well-known to be susceptible to adversarial attacks and it remains unclear whether LLMs exhibit robustness in learning on graphs. To address this gap, our work aims to explore the potential of LLMs in the context of adversarial attacks on graphs. Specifically, we investigate the robustness against graph structural and textual perturbations in terms of two dimensions: LLMs-as-Enhancers and LLMs-as-Predictors. Through extensive experiments, we find that, compared to shallow models, both LLMs-as-Enhancers and LLMs-as-Predictors offer superior robustness against structural and textual attacks.Based on these findings, we carried out additional analyses to investigate the underlying causes. Furthermore, we have made our benchmark library openly available to facilitate quick and fair evaluations, and to encourage ongoing innovative research in this field.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示している。 近年,テキスト属性を持つグラフの学習を向上し,有望な性能を示すLLMベースのパイプラインがいくつか開発されている。 しかし、グラフは敵攻撃の影響を受けやすいことがよく知られており、LLMがグラフ上での学習において堅牢性を示すかどうかは不明である。 このギャップに対処するため,本研究は,グラフに対する敵対的攻撃の文脈におけるLLMの可能性を探究することを目的としている。 具体的には, LLMs-as-Enhancers と LLMs-as-Predictors という2次元のグラフ構造とテキストの摂動に対する頑健性について検討する。 より広範な実験により,LLM-as-EnhancersとLLM-as-Predictorsは,浅層モデルと比較して,構造的およびテキスト的攻撃に対して優れた堅牢性を有することが明らかとなった。 さらに、我々のベンチマークライブラリを公開して、迅速かつ公平な評価を容易にし、この分野で進行中の革新的な研究を促進するようにしました。

関連論文リスト

• GraphICL: Unlocking Graph Learning Potential in LLMs through Structured Prompt Design [13.365623514253926]
  Graph In-Context Learning (GraphICL)ベンチマークは、グラフ構造をキャプチャし、限られたラベル知識を扱う新しいプロンプトテンプレートからなる包括的なベンチマークである。 システム評価の結果,GraphICLを用いた汎用LLMは,最先端の特殊グラフLLMやグラフニューラルネットワークモデルよりも優れていた。
  論文  参考訳（メタデータ） (2025-01-27T03:50:30Z)
• Benchmarking and Improving Large Vision-Language Models for Fundamental Visual Graph Understanding and Reasoning [33.85555387495046]
  LVLM(Large Vision-Language Models)は、様々なタスクにまたがる顕著な性能を示す。 近年の研究では、LVLMは視覚グラフに係わる際にかなりの制限を受けることが示されている。 LVLMの基本的グラフ理解と推論能力を調べるための22のタスクをカバーするベンチマークであるVGCureを提案する。
  論文  参考訳（メタデータ） (2024-12-18T06:35:18Z)
• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• Revisiting the Graph Reasoning Ability of Large Language Models: Case Studies in Translation, Connectivity and Shortest Path [53.71787069694794]
  大規模言語モデル(LLM)のグラフ推論能力に着目する。 グラフ記述変換,グラフ接続,最短パス問題という3つの基本グラフタスクにおけるLLMの能力を再考する。 この結果から,LLMはテキスト記述によるグラフ構造理解に失敗し,これらの基本課題に対して様々な性能を示すことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-18T16:26:39Z)
• Exploring the Potential of Large Language Models in Graph Generation [51.046188600990014]
  グラフ生成は、与えられたプロパティを持つグラフを生成するために、大きな言語モデル(LLM)を必要とする。 本稿では,LLMのグラフ生成能力について,系統的なタスク設計と実験による検討を行う。 評価の結果,LLM,特にGPT-4は,グラフ生成タスクに予備的能力を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-21T12:37:54Z)
• Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs [57.052160123387104]
  本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。 提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。 実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-10-27T14:00:04Z)
• Beyond Text: A Deep Dive into Large Language Models' Ability on Understanding Graph Data [13.524529952170672]
  大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて顕著な性能を達成している。 LLMがグラフデータを効果的に処理し、トポロジ構造を利用して性能を向上させることができるかどうかを評価することを目的とする。 LLMの性能を特殊グラフモデルと比較することにより、グラフ解析にLLMを使用する際の長所と短所について考察する。
  論文  参考訳（メタデータ） (2023-10-07T23:25:22Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。