論文の概要: Unified Multi-Dimensional Benchmark for Complex Graph Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2608.12391v1
• Date: Sun, 02 Aug 2026 22:02:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 01:32:04.603688
• Title: Unified Multi-Dimensional Benchmark for Complex Graph Reasoning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける複雑なグラフ推論のための統一多次元ベンチマーク
• Abstract要約: グラフ推論は、大きな言語モデル(LLM)の推論能力を評価するための有望なテストベッドを提供する。 既存のグラフ推論ベンチマークは、データ複雑さのカバー範囲が限られており、手作業による構築に大きく依存している。 複雑なグラフ推論ベンチマークを構築するための5段階のフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 26.262278539931632
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph reasoning provides a promising testbed for evaluating the reasoning ability of large language models (LLMs), as graph instances can be programmatically generated, structurally controlled, and naturally scaled to long-input settings. However, existing graph reasoning benchmarks have limited coverage of data complexity, rely heavily on manual construction, and lack unified evaluation across text-based and code-based reasoning modes. To address these limitations, we propose {\dataset}, a five-stage \textit{semi-automatic} framework for constructing complex graph reasoning benchmarks. It expands benchmark coverage along five dimensions: \textit{Graph Size}, \textit{Task Complexity}, \textit{Task Description}, \textit{Graph Loading}, and \textit{Task Source}. The framework uses an LLM-based data generator to automatically produce task descriptions, graph data, reference solutions, graph-loading scripts, question forms, and evaluation scripts, while retaining human validation at key quality-control stages. Based on it, we construct a benchmark with $202$ tasks and evaluate LLMs under text-based, code-based, and augmented reasoning settings. Experiments show that the complexity dimensions reveal model limitations that are less visible in existing benchmarks; existing fine-tuned models struggle to generalize to GraphGym, whereas retrieval-augmented methods show scenario-dependent adaptability, improving textual reasoning but not consistently improving coding reasoning. These findings suggest that ours serves as a challenging and diagnostic benchmark for graph reasoning and provides empirical guidance for future enhancement methods. Code and dataset will be published soon.
• Abstract（参考訳）: グラフ推論は,大規模言語モデル(LLM)の推論能力を評価する上で,有望なテストベッドを提供する。 しかし、既存のグラフ推論ベンチマークは、データ複雑さのカバー範囲が限られており、手作業による構築に大きく依存しており、テキストベースの推論モードとコードベースの推論モードの統一的な評価が欠如している。 これらの制約に対処するため、複雑なグラフ推論ベンチマークを構築するための5段階のtextit{semi-automatic}フレームワークである {\dataset}を提案する。 これは、ベンチマークカバレッジを5つの次元に沿って拡張する。 \textit{Graph Size}、 \textit{Task Complexity}、 \textit{Task Description}、 \textit{Graph Loading}、 \textit{Task Source}。 このフレームワークは、LCMベースのデータジェネレータを使用して、タスク記述、グラフデータ、参照ソリューション、グラフローディングスクリプト、質問フォーム、評価スクリプトを自動生成し、主要な品質管理段階における人間の検証を維持する。 そこで本研究では,202ドルのタスクでベンチマークを構築し,テキストベース,コードベース,拡張推論設定でLCMを評価した。 既存の微調整されたモデルではGraphGymへの一般化が困難であるのに対して、検索拡張された方法はシナリオ依存の適応性を示し、テキスト推論を改善するが、コーディング推論を一貫して改善しない。 これらの結果から,本研究はグラフ推論の挑戦的および診断的ベンチマークとして機能し,今後の拡張手法の実証的ガイダンスを提供する可能性が示唆された。 コードとデータセットはまもなく公開される予定だ。

関連論文リスト

• VeriGraph: Towards Verifiable Data-Analytic Agents [71.17693022916896]
  LLMをベースとしたエージェントは、データ集約分析タスクにおいて強力な能力を示してきたが、その出力は滅多に検証されていない。 We propose VeriGraph, a traceable neuro-symbolic reasoning framework that agent can construct an explicit heterogeneous evidence directed acyclic graph。 以上の結果から,明示的なエビデンスグラフ構築がデータ分析エージェントの検証に期待できる道のりであることが示唆された。
  論文  参考訳（メタデータ） (2026-06-15T11:50:56Z)
• GraphARC: A Comprehensive Benchmark for Graph-Based Abstract Reasoning [28.844098517315228]
  グラフ構造化データの抽象的推論のためのベンチマークであるGraphARCを紹介する。 各タスクは、新しいテストグラフに適用する少数の入出力ペアから変換ルールを推論する必要がある。 我々はGraphARCの最先端言語モデルを評価し、明確な制限を観察する。
  論文  参考訳（メタデータ） (2026-05-29T09:03:30Z)
• GraphInstruct: A Progressive Benchmark for Diagnosing Capability Gaps in LLM Graph Generation [29.756570408642144]
  GraphInstructは、大規模言語モデルのためのプログレッシブ・複雑度ベンチマークである。 離散的なパワーピークは深度を推論するのではなく,多制約組成で発生する。 制約対応型適応プロンプトを備えた検証誘導反復フレームワークは、プロンプトエンジニアリング天井を一貫して超越している。
  論文  参考訳（メタデータ） (2026-05-11T05:19:24Z)
• GraphWalk: Enabling Reasoning in Large Language Models through Tool-Based Graph Navigation [0.2999888908665658]
  問題に依存しない、トレーニング不要な、ツールベースのフレームワークであるGraphWalkを紹介します。 我々は、GraphWalkを組み込んだモデルが、これらの操作を正しい多段階推論チェーンに構成できるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-04-02T04:43:01Z)
• GraphSkill: Documentation-Guided Hierarchical Retrieval-Augmented Coding for Complex Graph Reasoning [26.69769871719694]
  グラフ推論のためのテキストエージェント型階層的検索拡張符号化フレームワークを提案する。 本手法は,ベースラインよりも高いタスク精度と推論コストを実現する。
  論文  参考訳（メタデータ） (2026-02-20T21:51:21Z)
• Semi-supervised Instruction Tuning for Large Language Models on Text-Attributed Graphs [62.544129365882014]
  本稿では,SIT-Graph というグラフ学習用セミ教師付きインストラクションチューニングパイプラインを提案する。 SIT-Graphはモデルに依存しず、LSMを予測子として利用するグラフ命令チューニングメソッドにシームレスに統合することができる。 SIT-Graphは、最先端グラフチューニング手法に組み込むと、テキスト分散グラフベンチマークの性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2026-01-19T08:10:53Z)
• GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning [50.40400074353263]
  グラフニューラルネットワーク(GNN)は、リレーショナルデータを先行する強力なツールであるが、しばしば目に見えないグラフに一般化するのに苦労する。 textbfGraph textbfIn-context textbfL textbfTransformer (GILT)を導入する。
  論文  参考訳（メタデータ） (2025-10-06T08:09:15Z)
• G-reasoner: Foundation Models for Unified Reasoning over Graph-structured Knowledge [88.82814893945077]
  大規模言語モデル(LLM)は複雑な推論において優れているが、静的かつ不完全なパラメトリック知識によって制限される。 最近のグラフ強化RAG (GraphRAG) は、このギャップを補足したグラフを構築し、LLMがそれらを推論できるようにする。 G-reasonerは、様々なグラフ構造化知識を推論するためにグラフと言語基盤モデルを統合した統合フレームワークである。
  論文  参考訳（メタデータ） (2025-09-29T04:38:12Z)
• Enrich-on-Graph: Query-Graph Alignment for Complex Reasoning with LLM Enriching [61.824094419641575]
  大言語モデル(LLM)は知識グラフ質問応答(KGQA)のような知識集約的なシナリオにおける幻覚と事実的誤りに苦しむ これは、構造化知識グラフ(KG)と非構造化クエリのセマンティックギャップによるもので、その焦点や構造に固有の違いが原因である。 既存の手法は通常、バニラKGの資源集約的で非スケーリング可能な推論を用いるが、このギャップを見落としている。 我々は、LLMの事前知識を活用してKGを充実させる柔軟なフレームワークEnrich-on-Graph(EoG)を提案し、グラフとクエリ間のセマンティックギャップを埋める。
  論文  参考訳（メタデータ） (2025-09-25T06:48:52Z)
• GraphCogent: Mitigating LLMs' Working Memory Constraints via Multi-Agent Collaboration in Complex Graph Understanding [13.356521655409422]
  大規模言語モデル(LLM)は、小規模なグラフ推論タスクでは有望な性能を示すが、複雑なクエリで現実のグラフを扱うと失敗する。 グラフ推論を特殊な認知プロセス(センス、バッファ、実行)に分解する協調エージェントフレームワークであるGraphCogentを提案する。
  論文  参考訳（メタデータ） (2025-08-17T14:28:38Z)
• GraphRunner: A Multi-Stage Framework for Efficient and Accurate Graph-Based Retrieval [3.792463570467098]
  GraphRunnerは、新しいグラフベースの検索フレームワークで、計画、検証、実行の3つの異なる段階で動作する。 推論エラーを著しく低減し、実行前に幻覚を検出する。 GRBenchデータセットによる評価は、GraphRunnerが既存のアプローチを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-07-11T18:10:01Z)
• Align-GRAG: Reasoning-Guided Dual Alignment for Graph Retrieval-Augmented Generation [79.75818239774952]
  大きな言語モデル(LLM)は目覚ましい能力を示しているが、幻覚や時代遅れの情報といった問題に苦戦している。 Retrieval-augmented Generation (RAG) は、情報検索システム(IR)を用いて、外部知識のLLM出力を基底にすることで、これらの問題に対処する。 本稿では、検索後句における新しい推論誘導二重アライメントフレームワークであるAlign-GRAGを提案する。
  論文  参考訳（メタデータ） (2025-05-22T05:15:27Z)
• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [70.03602551880526]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• FactGraph: Evaluating Factuality in Summarization with Semantic Graph Representations [114.94628499698096]
  文書と要約を構造化された意味表現(MR)に分解するFactGraphを提案する。 MRは、コアセマンティックの概念とその関係を記述し、文書と要約の両方の主要な内容を標準形式で集約し、データの疎結合を減少させる。 事実性を評価するための異なるベンチマークの実験では、FactGraphは以前のアプローチよりも最大15%優れていた。
  論文  参考訳（メタデータ） (2022-04-13T16:45:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。