論文の概要: GNN-CB: A Graph Neural Network Competition Benchmark for Human and LLM Evaluation

• arxiv url: http://arxiv.org/abs/2610.05387v1
• Date: Sun, 04 Oct 2026 17:16:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 14:08:32.757179
• Title: GNN-CB: A Graph Neural Network Competition Benchmark for Human and LLM Evaluation
• Title（参考訳）: GNN-CB:人間とLLM評価のためのグラフニューラルネットワークコンペティションベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は、コーディングと推論ベンチマークで強いパフォーマンスを示している。 LLMがエンドツーエンドのグラフニューラルネットワーク(GNN)コーディングタスクを自律的に解決できるかどうかのベンチマークはない。 本稿では、GNNコーディングタスク上で人間とLLMの両方を評価するための、最初の競合ベースのベンチマークであるGNN-CBを紹介する。
• 参考スコア（独自算出の注目度）: 2.6221762114752516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have demonstrated strong performance on coding and reasoning benchmarks; however, their ability to solve graph-structured machine learning problems remains largely unexplored. In particular, no benchmark currently evaluates whether LLMs can autonomously solve end-to-end Graph Neural Network (GNN) coding tasks under realistic competition settings. To address this gap, this paper introduces GNN-CB, the first competition-based benchmark for evaluating both humans and LLMs on GNN coding tasks. GNN-CB consists of 18 curated competitions spanning node-, edge-, and graph-level prediction across diverse graph categories, domains, and difficulty tiers. All submissions are evaluated through a unified automated pipeline with hidden test sets and standardized scoring. Human participants solve tasks under controlled competition constraints, while LLMs are evaluated using a frozen zero-shot prompting protocol based on a plan-then-code paradigm with bounded execute-and-repair loops. The benchmark additionally supports both non-agent and autonomous agent-based evaluation within the same protocol. Under our evaluated protocol, LLMs rarely match Human Top performance and show less stable performance across competitions. No single model dominates: a few competitions are won by LLMs, yet humans still hold the top score on most tasks. We release GNN-CB as a living benchmark with automated evaluation infrastructure, dynamic leaderboards, and reproducible execution pipelines. Beyond benchmarking, GNN-CB provides a practice-oriented resource for studying GNN implementation across progressively diverse graph-learning tasks. The benchmark and evaluation framework are publicly available at https://basiralab.github.io/GNN-CB/.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コーディングと推論ベンチマークにおいて強力なパフォーマンスを示しているが、グラフ構造化機械学習の問題を解決する能力は、まだ明らかにされていない。 特に、LLMが現実的な競合設定の下でエンドツーエンドのグラフニューラルネットワーク(GNN)コーディングタスクを自律的に解決できるかどうかを現在評価するベンチマークはない。 このギャップに対処するために、GNN-CBは、人間とLLMの両方をGNN符号化タスクで評価するための、最初の競合ベースのベンチマークである。 GNN-CBは、さまざまなグラフカテゴリ、ドメイン、難易度階層にわたるノードレベル、エッジレベル、グラフレベルの予測にまたがる18のコンペティションで構成されている。 すべてのサブミッションは、隠れテストセットと標準化されたスコアを備えた統合された自動パイプラインを通じて評価される。 人間の参加者は、制御された競合制約の下でタスクを解決し、LSMは、実行と再実行のループが有界なプランコードパラダイムに基づく凍結ゼロショットプロンプトプロトコルを用いて評価される。 このベンチマークは、同じプロトコル内で非エージェントと自律エージェントベースの評価の両方をサポートする。 評価したプロトコルでは,LLMがHuman Topのパフォーマンスにマッチすることは滅多になく,競争間の安定性が低い。 LLMはいくつかの競技で優勝するが、人間は依然としてほとんどのタスクでトップスコアを維持している。 我々は,自動評価インフラストラクチャ,動的リーダボード,再現可能な実行パイプラインを備えたライブベンチマークとして,GNN-CBをリリースした。 ベンチマーク以外にも、GNN-CBは、徐々に多様なグラフ学習タスクにまたがってGNNの実装を研究するための実践指向のリソースを提供している。 ベンチマークと評価フレームワークはhttps://basiralab.github.io/GNN-CB/で公開されている。

関連論文リスト

• LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework [30.54068909225463]
  我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。 我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。 両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2024-05-22T18:17:20Z)
• GNNEvaluator: Evaluating GNN Performance On Unseen Graphs Without Labels [81.93520935479984]
  本稿では,ラベル付きおよび観測されたグラフに基づいて学習した特定のGNNモデルの性能を評価することを目的とした,新しい問題であるGNNモデル評価について検討する。 本稿では,(1) DiscGraph セット構築と(2) GNNEvaluator トレーニングと推論を含む2段階の GNN モデル評価フレームワークを提案する。 DiscGraphセットからの効果的なトレーニング監督の下で、GNNEvaluatorは、評価対象であるGNNモデルのノード分類精度を正確に推定することを学ぶ。
  論文  参考訳（メタデータ） (2023-10-23T05:51:59Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• GraphFramEx: Towards Systematic Evaluation of Explainability Methods for Graph Neural Networks [15.648750523827616]
  3つの異なる「ユーザニーズ」に対する説明可能性を考慮したGNN説明可能性のための最初の体系的評価フレームワークを提案する。 不適切なが広く使われている合成ベンチマークでは、パーソナライズされたPageRankのような驚くほど浅いテクニックが最小限の計算時間で最高のパフォーマンスを持つ。 しかし,グラフ構造が複雑で有意義な特徴を持つ場合,評価基準に従って勾配法が最適である。
  論文  参考訳（メタデータ） (2022-06-20T09:33:12Z)
• GNNRank: Learning Global Rankings from Pairwise Comparisons via Directed Graph Neural Networks [68.61934077627085]
  本稿では,グラフ埋め込みを学習可能なGNNと互換性のあるモデリングフレームワークであるGNNRankを紹介する。 既存の手法と比較して,我々の手法が競争力があり,しばしば優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-02-01T04:19:50Z)
• Training Free Graph Neural Networks for Graph Matching [103.45755859119035]
  TFGMは、グラフニューラルネットワーク(GNN)ベースのグラフマッチングのパフォーマンスをトレーニングなしで向上するフレームワークである。 TFGMをさまざまなGNNに適用することは、ベースラインよりも有望な改善を示している。
  論文  参考訳（メタデータ） (2022-01-14T09:04:46Z)
• Combining Label Propagation and Simple Models Out-performs Graph Neural Networks [52.121819834353865]
  多くの標準的なトランスダクティブノード分類ベンチマークでは、最先端のGNNの性能を超えたり、一致させることができる。 これをC&S(Correct and Smooth)と呼ぶ。 我々のアプローチは、様々なベンチマークで最先端のGNNの性能を上回るか、ほぼ一致している。
  論文  参考訳（メタデータ） (2020-10-27T02:10:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。