論文の概要: GraphInfer-Bench: Benchmarking LLM's Inference Capability on Graphs

• arxiv url: http://arxiv.org/abs/2606.11562v1
• Date: Wed, 10 Jun 2026 01:41:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.241081
• Title: GraphInfer-Bench: Benchmarking LLM's Inference Capability on Graphs
• Title（参考訳）: GraphInfer-Bench: グラフ上でのLLMの推論能力のベンチマーク
• Authors: Zhuoyi Peng, Jingzhou Jiang, Hanlin Gu, Lixin Fan, Yi Yang,
• Abstract要約: GraphInfer-Benchは、グラフ推論のためのベンチマークであり、単一のノードがサポートせず、パスが取得されない、オープンな回答を生成する。 既存のGraph-QAプロトコルでは、アルゴリズムシミュレーション、ノード分類、単一ノード記述、KG-QA、GraphRAGはすべて、あるノードまたはパスに沿って検索可能な回答を認めている。 リリースには6つの実世界のグラフにまたがる42,000のサンプルが含まれている。
• 参考スコア（独自算出の注目度）: 21.80259191908136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph analysis underlies many applications whose answers cannot be looked up in a single record or retrieved along a path: laundering rings, drug repurposing, user preference, and scientific theme are all inferred from a node together with its neighbourhood. We introduce GraphInfer-Bench, a benchmark for whether LLMs can perform this graph inference: producing an open-ended answer that no single node supports and no path retrieves. Existing graph-QA protocols cannot test this capability: algorithm simulation, node classification, single-node description, KG-QA, and GraphRAG all admit answers retrievable from one node or along a path. GraphInfer-Bench defines five tasks along Description (what a region is) and Comparison (how regions differ), each constructed so the ground truth lives in no single node. The release contains 42,000 samples across six real-world graphs, produced automatically and screened by a four-layer quality-control protocol. We evaluate four method families against the same tasks: graph-token alignment models, zero-shot frontier closed-source LLMs, Graph2Text supervised fine-tuning, and plain GNNs as a structural reference. No method family closes the gap. Graph-token alignment partially handles description tasks (relational, theme) but collapses on comparison tasks. Frontier LLMs lead on outlier detection and community partition among LLM-based methods but lag on masked-node prediction. Graph2Text SFT is the strongest LLM-based method on the description side yet falls behind frontier LLMs on comparison. Across every task, plain GNNs match or beat the strongest LLM-based row, with the largest margin on community detection. GraphInfer-Bench surfaces graph inference as an open capability gap rather than a property of any one architecture.
• Abstract（参考訳）: グラフ解析は、答えを単一のレコードで調べられない、あるいは経路に沿って検索できない多くのアプリケーションの基礎となる: 洗浄リング、薬物の再利用、ユーザの好み、科学的テーマはすべて、その近隣のノードから推論される。 GraphInfer-Benchは、LLMがこのグラフ推論を実行できるかどうかのベンチマークである。 既存のGraph-QAプロトコルでは、アルゴリズムシミュレーション、ノード分類、単一ノード記述、KG-QA、GraphRAGはすべて、あるノードまたはパスに沿って検索可能な回答を認めている。 GraphInfer-Bench は Description (リージョンとは何か) と Comparison (リージョンがどのように違うのか) に沿った5つのタスクを定義し、それぞれが構築され、基底真理は単一のノードに存在しない。 リリースには6つの実世界のグラフにまたがる42,000のサンプルが含まれている。 我々は、同じタスクに対して、4つのメソッドファミリを評価する。グラフトークンアライメントモデル、ゼロショットフロンティアクローズソースLLM、Graph2Textによる微調整、構造参照としてプレーンGNNである。 ギャップを閉じるメソッドファミリはありません。 グラフトークンアライメントは、部分的に記述タスク(リレーショナル、テーマ)を処理するが、比較タスクでは崩壊する。 最前線のLSMは、LPMベースの手法では外れ値の検出とコミュニティ分割に導かれるが、マスクノード予測には遅延がある。 Graph2Text SFT は記述側で最強の LLM ベースの手法であるが、比較上はフロンティア LLM より遅れている。 あらゆるタスクにおいて、通常のGNNは最強のLDMベースの行にマッチするか、打ち負かされる。 GraphInfer-Benchはグラフ推論を、どのアーキテクチャの性質よりもオープンな能力ギャップとして表す。

関連論文リスト

• GraphSOS: Graph Sampling and Order Selection to Help LLMs Understand Graphs Better [13.742220809751627]
  GraphSOSは、グラフデータを自然言語テキストに変換する新しいフレームワークである。 Order Selector Moduleはグラフの適切なシリアライズ順序を保証するもので、Subgraph Smpling Moduleはより良い推論のためにより良い構造を持つサブグラフをサンプリングする。 ノード分類とグラフ問合せのための複数のデータセットの実験は、GraphSOSがグラフタスクにおけるLLMのパフォーマンスと能力を改善することを示した。
  論文  参考訳（メタデータ） (2025-01-24T11:55:57Z)
• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [70.03602551880526]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
  大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。 既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。 本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-10T15:41:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。