論文の概要: GraCoRe: Benchmarking Graph Comprehension and Complex Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2407.02936v1
• Date: Wed, 3 Jul 2024 09:12:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 14:55:24.577160
• Title: GraCoRe: Benchmarking Graph Comprehension and Complex Reasoning in Large Language Models
• Title（参考訳）: GraCoRe: 大規模言語モデルにおけるグラフ理解と複雑な推論のベンチマーク
• Authors: Zike Yuan, Ming Liu, Hui Wang, Bing Qin,
• Abstract要約: 本稿では,大規模言語モデルのグラフ理解と推論を体系的に評価するベンチマークであるGraCoReを提案する。 GraCoReは、純粋なグラフとヘテロジニアスグラフ上のモデルを分類およびテストするために、3階層の階層分類を使用する。 キーとなる発見は、セマンティックエンリッチメントが推論性能を高め、ノード順序付けがタスクの成功に影響を及ぼし、長いテキストを処理する能力が必ずしもグラフの理解や推論を改善するとは限らないことである。
• 参考スコア（独自算出の注目度）: 22.705728671135834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating the graph comprehension and reasoning abilities of Large Language Models (LLMs) is challenging and often incomplete. Existing benchmarks focus primarily on pure graph understanding, lacking a comprehensive evaluation across all graph types and detailed capability definitions. This paper presents GraCoRe, a benchmark for systematically assessing LLMs' graph comprehension and reasoning. GraCoRe uses a three-tier hierarchical taxonomy to categorize and test models on pure graph and heterogeneous graphs, subdividing capabilities into 10 distinct areas tested through 19 tasks. Our benchmark includes 11 datasets with 5,140 graphs of varying complexity. We evaluated three closed-source and seven open-source LLMs, conducting thorough analyses from both ability and task perspectives. Key findings reveal that semantic enrichment enhances reasoning performance, node ordering impacts task success, and the ability to process longer texts does not necessarily improve graph comprehension or reasoning. GraCoRe is open-sourced at https://github.com/ZIKEYUAN/GraCoRe
• Abstract（参考訳）: 大規模言語モデル(LLM)のグラフ理解と推論能力の評価は困難であり、しばしば不完全である。 既存のベンチマークは主に純粋なグラフ理解に焦点を当てており、すべてのグラフタイプと詳細な機能定義の包括的な評価が欠如している。 本稿では,LLMのグラフ理解と推論を体系的に評価するベンチマークであるGraCoReを提案する。 GraCoReは3階層の階層分類を使用して、純粋なグラフと不均一グラフのモデルを分類し、テストし、19のタスクでテストされた10の領域に分割する。 私たちのベンチマークには、複雑さの異なる5,140グラフを持つ11のデータセットが含まれています。 我々は3つのクローズドソースと7つのオープンソースLCMを評価し、能力とタスクの観点から徹底的な分析を行った。 キーとなる発見は、セマンティックエンリッチメントが推論性能を高め、ノード順序付けがタスクの成功に影響を及ぼし、長いテキストを処理する能力が必ずしもグラフの理解や推論を改善するとは限らないことである。 GraCoReがhttps://github.com/ZIKEYUAN/GraCoReでオープンソース化

関連論文リスト

• GC-Bench: An Open and Unified Benchmark for Graph Condensation [54.70801435138878]
  我々は,グラフ凝縮の性能を解析するための総合的なグラフ凝縮ベンチマーク (GC-Bench) を開発した。 GC-Benchは、グラフ凝縮の特徴を以下の次元で体系的に研究している。 我々は,再現性のある研究を容易にするために,異なるGC手法を訓練し,評価するための簡易ライブラリを開発した。
  論文  参考訳（メタデータ） (2024-06-30T07:47:34Z)
• Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
  大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。 既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。 本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-10T15:41:53Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• Talk like a Graph: Encoding Graphs for Large Language Models [15.652881653332194]
  大規模言語モデル(LLM)による消費用テキストとしてグラフ構造化データを符号化する最初の包括的研究について検討する。 グラフ解析におけるLCMの性能は,(1)グラフ符号化法,(2)グラフ処理自体の性質,(3)興味深いことに,考慮されたグラフの構造の3つの基本レベルによって異なることを示す。
  論文  参考訳（メタデータ） (2023-10-06T19:55:21Z)
• KGrEaT: A Framework to Evaluate Knowledge Graphs via Downstream Tasks [1.8722948221596285]
  KGrEaTは、分類、クラスタリング、レコメンデーションといった実際の下流タスクを通じて知識グラフの品質を推定するフレームワークである。 フレームワークは知識グラフを入力として、評価対象のデータセットに自動的にマップし、定義されたタスクのパフォーマンスメトリクスを計算する。
  論文  参考訳（メタデータ） (2023-08-21T07:43:10Z)
• GPT4Graph: Can Large Language Models Understand Graph Structured Data ? An Empirical Evaluation and Benchmarking [17.7473474499538]
  ChatGPTのような大規模言語モデルは、人工知能にとって欠かせないものとなっている。 本研究では,グラフデータの解釈において,LLMの精度を評価するための調査を行う。 この知見は,言語モデルとグラフ理解のギャップを埋めるための貴重な洞察に寄与する。
  論文  参考訳（メタデータ） (2023-05-24T11:53:19Z)
• Can Language Models Solve Graph Problems in Natural Language? [51.28850846990929]
  大型言語モデル (LLM) は暗黙的なグラフィカル構造を持つ様々なタスクに採用されている。 自然言語をシミュレーションするグラフベース問題解決のベンチマークであるNLGraphを提案する。
  論文  参考訳（メタデータ） (2023-05-17T08:29:21Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• Grale: Designing Networks for Graph Learning [68.23038997141381]
  我々は,数十億のノードを持つグラフのグラフ設計問題に対処するために,スケーラブルなGraleを提案する。 グレールは、(潜在的に弱い)類似性の異なる測度を融合して、そのノード間の高いタスク固有のホモフィリーを示すグラフを作成する。 Googleでは、数千億のノードを持つデータセットや、数十兆の潜在的なエッジを含む、20以上の異なる産業環境にGraleをデプロイしています。
  論文  参考訳（メタデータ） (2020-07-23T13:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。