論文の概要: GraCoRe: Benchmarking Graph Comprehension and Complex Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2407.02936v1
• Date: Wed, 3 Jul 2024 09:12:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 14:55:24.577160
• Title: GraCoRe: Benchmarking Graph Comprehension and Complex Reasoning in Large Language Models
• Title（参考訳）: GraCoRe: 大規模言語モデルにおけるグラフ理解と複雑な推論のベンチマーク
• Authors: Zike Yuan, Ming Liu, Hui Wang, Bing Qin,
• Abstract要約: 本稿では,大規模言語モデルのグラフ理解と推論を体系的に評価するベンチマークであるGraCoReを提案する。 GraCoReは、純粋なグラフとヘテロジニアスグラフ上のモデルを分類およびテストするために、3階層の階層分類を使用する。 キーとなる発見は、セマンティックエンリッチメントが推論性能を高め、ノード順序付けがタスクの成功に影響を及ぼし、長いテキストを処理する能力が必ずしもグラフの理解や推論を改善するとは限らないことである。
• 参考スコア（独自算出の注目度）: 22.705728671135834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating the graph comprehension and reasoning abilities of Large Language Models (LLMs) is challenging and often incomplete. Existing benchmarks focus primarily on pure graph understanding, lacking a comprehensive evaluation across all graph types and detailed capability definitions. This paper presents GraCoRe, a benchmark for systematically assessing LLMs' graph comprehension and reasoning. GraCoRe uses a three-tier hierarchical taxonomy to categorize and test models on pure graph and heterogeneous graphs, subdividing capabilities into 10 distinct areas tested through 19 tasks. Our benchmark includes 11 datasets with 5,140 graphs of varying complexity. We evaluated three closed-source and seven open-source LLMs, conducting thorough analyses from both ability and task perspectives. Key findings reveal that semantic enrichment enhances reasoning performance, node ordering impacts task success, and the ability to process longer texts does not necessarily improve graph comprehension or reasoning. GraCoRe is open-sourced at https://github.com/ZIKEYUAN/GraCoRe
• Abstract（参考訳）: 大規模言語モデル(LLM)のグラフ理解と推論能力の評価は困難であり、しばしば不完全である。 既存のベンチマークは主に純粋なグラフ理解に焦点を当てており、すべてのグラフタイプと詳細な機能定義の包括的な評価が欠如している。 本稿では,LLMのグラフ理解と推論を体系的に評価するベンチマークであるGraCoReを提案する。 GraCoReは3階層の階層分類を使用して、純粋なグラフと不均一グラフのモデルを分類し、テストし、19のタスクでテストされた10の領域に分割する。 私たちのベンチマークには、複雑さの異なる5,140グラフを持つ11のデータセットが含まれています。 我々は3つのクローズドソースと7つのオープンソースLCMを評価し、能力とタスクの観点から徹底的な分析を行った。 キーとなる発見は、セマンティックエンリッチメントが推論性能を高め、ノード順序付けがタスクの成功に影響を及ぼし、長いテキストを処理する能力が必ずしもグラフの理解や推論を改善するとは限らないことである。 GraCoReがhttps://github.com/ZIKEYUAN/GraCoReでオープンソース化

関連論文リスト

• A Hierarchical Language Model For Interpretable Graph Reasoning [47.460255447561906]
  ノード中心の局所情報と相互作用中心のグローバル構造を捉えるために2ブロックアーキテクチャを用いる階層型グラフ言語モデル(HLM-G)を導入する。 提案手法は,大規模グラフ処理における計算コストを削減しつつ,高い効率性,効率性,ロバスト性で様々なグラフクエリに対処することを可能にする。 多様なグラフ推論およびノード,リンク,グラフレベルの実世界のタスクに対する総合的な評価は,本手法の優位性を強調している。
  論文  参考訳（メタデータ） (2024-10-29T00:28:02Z)
• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [90.98855064914379]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• Revisiting the Graph Reasoning Ability of Large Language Models: Case Studies in Translation, Connectivity and Shortest Path [53.71787069694794]
  大規模言語モデル(LLM)のグラフ推論能力に着目する。 グラフ記述変換,グラフ接続,最短パス問題という3つの基本グラフタスクにおけるLLMの能力を再考する。 この結果から,LLMはテキスト記述によるグラフ構造理解に失敗し,これらの基本課題に対して様々な性能を示すことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-18T16:26:39Z)
• Node Level Graph Autoencoder: Unified Pretraining for Textual Graph Learning [45.70767623846523]
  我々は,Node Level Graph AutoEncoder (NodeGAE) という,教師なしの新たな学習オートエンコーダフレームワークを提案する。 我々は、自動エンコーダのバックボーンとして言語モデルを使用し、テキスト再構成を事前訓練する。 本手法は,学習過程における単純さを維持し,多種多様なテキストグラフや下流タスクの一般化性を示す。
  論文  参考訳（メタデータ） (2024-08-09T14:57:53Z)
• Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
  大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。 既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。 本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-10T15:41:53Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• Talk like a Graph: Encoding Graphs for Large Language Models [15.652881653332194]
  大規模言語モデル(LLM)による消費用テキストとしてグラフ構造化データを符号化する最初の包括的研究について検討する。 グラフ解析におけるLCMの性能は,(1)グラフ符号化法,(2)グラフ処理自体の性質,(3)興味深いことに,考慮されたグラフの構造の3つの基本レベルによって異なることを示す。
  論文  参考訳（メタデータ） (2023-10-06T19:55:21Z)
• Can Language Models Solve Graph Problems in Natural Language? [51.28850846990929]
  大型言語モデル (LLM) は暗黙的なグラフィカル構造を持つ様々なタスクに採用されている。 自然言語をシミュレーションするグラフベース問題解決のベンチマークであるNLGraphを提案する。
  論文  参考訳（メタデータ） (2023-05-17T08:29:21Z)
• Grale: Designing Networks for Graph Learning [68.23038997141381]
  我々は,数十億のノードを持つグラフのグラフ設計問題に対処するために,スケーラブルなGraleを提案する。 グレールは、(潜在的に弱い)類似性の異なる測度を融合して、そのノード間の高いタスク固有のホモフィリーを示すグラフを作成する。 Googleでは、数千億のノードを持つデータセットや、数十兆の潜在的なエッジを含む、20以上の異なる産業環境にGraleをデプロイしています。
  論文  参考訳（メタデータ） (2020-07-23T13:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。