論文の概要: GTA: Graph Theory Agent and Benchmark for Algorithmic Graph Reasoning with LLMs
- arxiv url: http://arxiv.org/abs/2609.12265v1
- Date: Thu, 10 Sep 2026 22:50:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.562329
- Title: GTA: Graph Theory Agent and Benchmark for Algorithmic Graph Reasoning with LLMs
- Title(参考訳): GTA:LLMを用いたアルゴリズムグラフ推論のためのグラフ理論エージェントとベンチマーク
- Abstract要約: Graph Theory Bench (GT Bench) は、44のタスク構造設定において24の古典的なグラフ問題をカバーするベンチマークである。
GT Benchは、精度が入力表現と強く結びついていることを示している。
本稿では,選好学習された表現セレクタと計画と分解の足場を組み合わせたグラフ理論エージェント(GTA)を提案する。
- 参考スコア(独自算出の注目度): 50.68372832207766
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) are increasingly asked to reason over structured data such as graphs, yet how reliably they can carry out multi-step graph algorithms in language remains unclear. Existing evaluations tend to use simple tasks on small graphs, to score code generation rather than reasoning over the graph itself, or to fix a single input format. We introduce Graph Theory Bench (GT Bench), a benchmark covering 24 classical graph problems in 44 task-structure settings, with over 100,000 examples across four representations: natural language, structured language, adjacency list, and adjacency matrix. Evaluating eight LLMs on GT Bench shows that accuracy is strongly tied to the input representation, that the best representation shifts with graph density, size, and topology as well as with the model, and that this sensitivity persists, attenuated, in the strongest reasoning models. Building on these observations, we propose the Graph Theory Agent (GTA), which pairs a preference-trained representation selector with plan-and-decompose scaffolding around a frozen executor LLM. GTA lifts Phi-4 from 53.5% to 69.1% on the benchmark's easy split and from 33.0% to 41.5% on its hard split, outperforming eight prompting and agent baselines, and transfers without retraining to GraCoRe and NLGraph. Code for benchmark generation and evaluation: https://github.com/xzx34/GTA. The project homepage is available at https://xzx34.github.io/gta/.
- Abstract(参考訳): 大規模言語モデル(LLM)は、グラフのような構造化されたデータについて推論するようますます求められているが、言語におけるマルチステップグラフアルゴリズムの実行がどの程度確実に可能であるかは、まだ不明である。
既存の評価では、小さなグラフ上の単純なタスクを使用して、グラフ自体を推論するよりも、コード生成をスコアリングしたり、単一の入力フォーマットを修正したりする傾向があります。
このベンチマークでは、自然言語、構造化言語、隣接リスト、隣接行列の4つの表現に10万以上の例がある。
GTベンチ上での8つのLCMの評価は、精度が入力表現と強く結びついており、最良の表現はグラフ密度、サイズ、トポロジーとともにモデルとともにシフトし、この感度は最強の推論モデルにおいて持続し、減衰することを示している。
これらの観測結果に基づいて,凍結型エグゼキュータLLMの周囲に配置した計画と分解の足場を選好訓練された表現セレクタと組み合わせたグラフ理論エージェント(GTA)を提案する。
GTAはPhi-4を53.5%から69.1%に引き上げ、ベンチマークのスプリットを33.0%から41.5%に引き上げ、8つのプロンプトとエージェントのベースラインを上回り、GraCoReやNLGraphにリトレーニングせずに転送する。
ベンチマーク生成と評価のためのコード:https://github.com/xzx34/GTA。
プロジェクトのホームページはhttps://xzx34.github.io/gta/で公開されている。
関連論文リスト
- ClosureBench: A Constructive Benchmark for Compositional Graph Reasoning [1.827510863075184]
ClosureBenchはグラフ関係推論のための構築的なベンチマークである。
証明済みの真実だ
1.5Bのオープンウェイトからフロンティアシステムへのモデルの評価を行った。
論文 参考訳(メタデータ) (2026-08-18T18:36:21Z) - GraphCogent: Mitigating LLMs' Working Memory Constraints via Multi-Agent Collaboration in Complex Graph Understanding [13.356521655409422]
大規模言語モデル(LLM)は、小規模なグラフ推論タスクでは有望な性能を示すが、複雑なクエリで現実のグラフを扱うと失敗する。
グラフ推論を特殊な認知プロセス(センス、バッファ、実行)に分解する協調エージェントフレームワークであるGraphCogentを提案する。
論文 参考訳(メタデータ) (2025-08-17T14:28:38Z) - An Automatic Graph Construction Framework based on Large Language Models for Recommendation [49.51799417575638]
本稿では,大規模言語モデルに基づく自動グラフ構築フレームワークであるAutoGraphを紹介する。
LLMはユーザ好みとアイテムの知識を推論し、セマンティックベクターとして符号化する。
潜在因子は、ユーザ/イテムノードをリンクする余分なノードとして組み込まれ、結果として、深いグローバルビューセマンティクスを持つグラフとなる。
論文 参考訳(メタデータ) (2024-12-24T07:51:29Z) - What Do LLMs Need to Understand Graphs: A Survey of Parametric Representation of Graphs [69.48708136448694]
大規模言語モデル(LLM)は、期待される推論能力と推論能力のために、AIコミュニティで再編成されている。
我々は、グラフのこのようなパラメトリック表現、グラフ法則は、LLMがグラフデータを入力として理解させるソリューションであると信じている。
論文 参考訳(メタデータ) (2024-10-16T00:01:31Z) - Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [70.03602551880526]
グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。
その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。
本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
論文 参考訳(メタデータ) (2024-09-29T11:38:45Z) - GraphArena: Evaluating and Exploring Large Language Models on Graph Computation [38.65000765032749]
GraphArenaは、現実世界のグラフ問題に対して、LLM(Large Language Models)を評価するために設計されたツールである。
10以上の LLM の評価は、最高性能の LLM でさえ、より大きく複雑なグラフ問題に苦しむことを示している。
この問題に対処する4つの潜在的なソリューションについて検討する。例えば、チェーン・オブ・思想のプロンプト、命令チューニング、コード記述、テスト時間計算のスケーリングなどである。
論文 参考訳(メタデータ) (2024-06-29T09:19:23Z) - GraphEval36K: Benchmarking Coding and Reasoning Capabilities of Large Language Models on Graph Datasets [19.329274124787858]
GraphEval36Kは、40のグラフコーディング問題と36,900のテストケースからなる、最初の包括的なグラフデータセットである。
我々のデータセットは8つのプライマリカテゴリと4つのサブカテゴリに分類され、異なるタイプのグラフに対する徹底的な評価が保証される。
評価フレームワークのユーザビリティ向上のために,構造化記号分解(SSD)を提案する。
SSDはGPT-4, GPT-4o, Gemini-Pro, Claude-3-Sonnetの平均通過速度を8.38%, 6.78%, 29.28%, 25.28%改善する。
論文 参考訳(メタデータ) (2024-06-23T18:01:56Z) - Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。
既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。
本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-10T15:41:53Z) - Can Language Models Solve Graph Problems in Natural Language? [51.28850846990929]
大型言語モデル (LLM) は暗黙的なグラフィカル構造を持つ様々なタスクに採用されている。
自然言語をシミュレーションするグラフベース問題解決のベンチマークであるNLGraphを提案する。
論文 参考訳(メタデータ) (2023-05-17T08:29:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。