論文の概要: GABench: A Comprehensive Benchmark for Evaluating LLM Agents on Graph Analysis Tasks

• arxiv url: http://arxiv.org/abs/2608.01684v1
• Date: Mon, 03 Aug 2026 04:18:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.327667
• Title: GABench: A Comprehensive Benchmark for Evaluating LLM Agents on Graph Analysis Tasks
• Title（参考訳）: GABench: グラフ解析タスクにおけるLLMエージェント評価のための総合ベンチマーク
• Abstract要約: グラフ解析では、エージェントがデータにアクセスし、グラフ環境で操作を実行する必要がある。 既存の大規模言語モデル(LLM)のグラフベンチマークは、グラフタスクとグラフタイプを限定的にカバーする。 エージェントグラフ解析のための総合ベンチマークであるGABenchを紹介する。
• 参考スコア（独自算出の注目度）: 43.75794490292518
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) agents are increasingly capable of planning, using tools, and interacting with external environments. They are typically supported by harnesses, which manage state and coordinate multi-step execution. Graph analysis provides a promising setting for evaluating their agentic capabilities, because it requires agents to access data and execute operations in a graph environment. However, existing graph benchmarks for LLMs provide limited coverage of graph tasks and graph types, making it difficult to comprehensively evaluate LLM agents. Moreover, they typically formulate graph analysis as text-based question answering, where graph information is directly provided in the prompt, limiting the evaluation of end-to-end agentic capabilities. To address these limitations, we introduce GABench, a comprehensive benchmark for agentic graph analysis. GABench spans three graph types and covers four graph analysis task categories: graph retrieval, graph theory, graph machine learning, and graph open-ended question answering. GABench also provides 84 executable tools for accessing graph data and performing diverse graph operations. Building on these tools, we develop an agentic graph analysis task generation pipeline and construct 10,400 tasks with verifiable ground truth.Using GABench, we evaluate a range of frontier LLMs and agent harnesses. Our experiments reveal three key findings: (1) Existing LLM agents still struggle with complex graph analysis tasks. (2) Harness choice significantly affects performance, yet existing harnesses remain limited on complex graph tasks. (3) Graph analysis depends more on tool-call quality than quantity. Our findings provide practical insights into the development and evaluation of LLM agents for graph analysis.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、ますます計画、ツールの使用、および外部環境との相互作用が可能である。 通常、状態を管理し、複数ステップの実行を調整するハーネスによってサポートされている。 グラフ分析は、エージェントがデータにアクセスし、グラフ環境で操作を実行する必要があるため、エージェント能力を評価するための有望な設定を提供する。 しかし, LLMの既存のグラフベンチマークでは, グラフタスクやグラフタイプが限られており, LLMエージェントを包括的に評価することは困難である。 さらに、グラフ解析をテキストベースの質問応答として定式化し、グラフ情報を直接プロンプトで提供し、エンドツーエンドのエージェント能力の評価を制限する。 これらの制約に対処するため,エージェントグラフ解析のための包括的なベンチマークであるGABenchを導入する。 GABenchは3つのグラフタイプにまたがり、グラフ検索、グラフ理論、グラフ機械学習、グラフオープンな質問応答の4つのグラフ分析タスクカテゴリをカバーする。 GABenchはまた、グラフデータにアクセスし、多様なグラフ操作を実行するための84の実行可能なツールも提供している。 これらのツールを用いてエージェントグラフ解析タスク生成パイプラインを構築し,真理を検証した10,400のタスクを構築し,GABenchを用いて,フロンティアLSMとエージェントハーネスの範囲を評価した。 1)既存のLCMエージェントは複雑なグラフ解析タスクに苦戦している。 2) ハーネスの選択はパフォーマンスに大きく影響するが、既存のハーネスは複雑なグラフタスクに限られている。 3) グラフ解析は量よりもツールコール品質に依存している。 本研究は,グラフ解析のためのLLMエージェントの開発と評価に関する実践的な知見を提供する。

関連論文リスト

• Are Large Language Models Suitable for Graph Computation? Progress and Prospects [31.182390464506053]
  グラフ計算のために大規模言語モデル (LLM) が研究されている。 本稿では、ロールベースの分類法を用いて、グラフ計算のためのLLMの総合的なレビューを行う。 我々のレビューでは、LLMは単純で小規模なタスクに対して有望であるが、大規模かつ正確なタスクには信頼できないことが示されている。
  論文  参考訳（メタデータ） (2026-06-05T03:24:38Z)
• GraphCogent: Mitigating LLMs' Working Memory Constraints via Multi-Agent Collaboration in Complex Graph Understanding [13.356521655409422]
  大規模言語モデル(LLM)は、小規模なグラフ推論タスクでは有望な性能を示すが、複雑なクエリで現実のグラフを扱うと失敗する。 グラフ推論を特殊な認知プロセス(センス、バッファ、実行)に分解する協調エージェントフレームワークであるGraphCogentを提案する。
  論文  参考訳（メタデータ） (2025-08-17T14:28:38Z)
• What Do LLMs Need to Understand Graphs: A Survey of Parametric Representation of Graphs [69.48708136448694]
  大規模言語モデル(LLM)は、期待される推論能力と推論能力のために、AIコミュニティで再編成されている。 我々は、グラフのこのようなパラメトリック表現、グラフ法則は、LLMがグラフデータを入力として理解させるソリューションであると信じている。
  論文  参考訳（メタデータ） (2024-10-16T00:01:31Z)
• Scalable and Accurate Graph Reasoning with LLM-based Multi-Agents [27.4884498301785]
  GraphAgent-Reasonerは、明示的で正確なグラフ推論のための微調整不要なフレームワークである。 分散グラフ計算理論にインスパイアされた我々のフレームワークは、グラフ問題を複数のエージェント間で分散される小さなノード中心のタスクに分解する。 本フレームワークは,Webページ重要度分析などの実世界のグラフ推論アプリケーションを扱う能力を示す。
  論文  参考訳（メタデータ） (2024-10-07T15:34:14Z)
• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [70.03602551880526]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• GraphReader: Building Graph-based Agent to Enhance Long-Context Abilities of Large Language Models [58.08177466768262]
  大規模言語モデル(LLM)では、複雑なロングコンテクストのタスクに対処するためには、ロングコンテクストの能力が不可欠である。 グラフをグラフに構造化し、エージェントを使ってグラフを自律的に探索することで、長いテキストを扱うように設計されたグラフベースのエージェントシステムであるGraphReaderを紹介する。 LV-Evalデータセットの実験結果によると、GraphReaderは4kコンテキストウィンドウを使用して、16kから256kまでのコンテキスト長で一貫してGPT-4-128kを上回っている。
  論文  参考訳（メタデータ） (2024-06-20T17:57:51Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• Talk like a Graph: Encoding Graphs for Large Language Models [15.652881653332194]
  大規模言語モデル(LLM)による消費用テキストとしてグラフ構造化データを符号化する最初の包括的研究について検討する。 グラフ解析におけるLCMの性能は,(1)グラフ符号化法,(2)グラフ処理自体の性質,(3)興味深いことに,考慮されたグラフの構造の3つの基本レベルによって異なることを示す。
  論文  参考訳（メタデータ） (2023-10-06T19:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。