論文の概要: Towards Evaluating Large Language Models for Graph Query Generation

• arxiv url: http://arxiv.org/abs/2411.08449v1
• Date: Wed, 13 Nov 2024 09:11:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:10:52.197255
• Title: Towards Evaluating Large Language Models for Graph Query Generation
• Title（参考訳）: グラフクエリ生成のための大規模言語モデルの評価に向けて
• Authors: Siraj Munir, Alessandro Aldini,
• Abstract要約: 大言語モデル(LLM)は、生成人工知能(GenAI)の景観に革命をもたらしている 本稿では,オープンアクセス LLM を用いてグラフデータベースと対話する強力な言語としてクエリを生成することの課題について比較検討する。 クエリ生成精度を実証的に分析したところ、Claude Sonnet 3.5は特定のドメインでそれよりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 49.49881799107061
• License:
• Abstract: Large Language Models (LLMs) are revolutionizing the landscape of Generative Artificial Intelligence (GenAI), with innovative LLM-backed solutions emerging rapidly. However, when applied to database technologies, specifically query generation for graph databases and Knowledge Graphs (KGs), LLMs still face significant challenges. While research on LLM-driven query generation for Structured Query Language (SQL) exists, similar systems for graph databases remain underdeveloped. This paper presents a comparative study addressing the challenge of generating Cypher queries a powerful language for interacting with graph databases using open-access LLMs. We rigorously evaluate several LLM agents (OpenAI ChatGPT 4o, Claude Sonnet 3.5, Google Gemini Pro 1.5, and a locally deployed Llama 3.1 8B) using a designed few-shot learning prompt and Retrieval Augmented Generation (RAG) backed by Chain-of-Thoughts (CoT) reasoning. Our empirical analysis of query generation accuracy reveals that Claude Sonnet 3.5 outperforms its counterparts in this specific domain. Further, we highlight promising future research directions to address the identified limitations and advance LLM-driven query generation for graph databases.
• Abstract（参考訳）: 大規模言語モデル(LLMs)は、ジェネレーティブ・人工知能(GenAI)の風景に革命をもたらしている。 しかし、グラフデータベースや知識グラフ(KG)のクエリ生成など、データベース技術に適用する場合、LLMは依然として重大な課題に直面している。 構造化クエリ言語(SQL)のためのLLM駆動クエリ生成の研究は存在するが、グラフデータベースの類似システムは未開発のままである。 本稿では,オープンアクセス LLM を用いてグラフデータベースと対話する強力な言語として,Cypher クエリを生成することの課題について比較検討する。 我々は、設計された数発の学習プロンプトと、Chain-of-Thoughts(CoT)推論によって裏打ちされたRetrieval Augmented Generation(RAG)を用いて、複数のLLMエージェント(OpenAI ChatGPT 4o, Claude Sonnet 3.5, Google Gemini Pro 1.5,およびローカルにデプロイされたLlama 3.1 8B)を厳格に評価した。 クエリ生成精度を実証的に分析したところ、Claude Sonnet 3.5は特定のドメインでそれよりも優れていることがわかった。 さらに、特定された制限に対処し、グラフデータベースのためのLLM駆動クエリ生成を前進させる将来的な研究の方向性を強調した。

関連論文リスト

• From Natural Language to SQL: Review of LLM-based Text-to-SQL Systems [1.1060425537315088]
  この調査は、LLMベースのテキスト・ツー・スカルシステムの進化に関する包括的研究を提供する。 ベンチマーク、評価方法、評価指標について議論する。 効率性、モデルプライバシ、データプライバシといった重要な課題を、その開発と潜在的な領域の改善の観点から強調する。
  論文  参考訳（メタデータ） (2024-10-01T20:46:25Z)
• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [90.98855064914379]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• Lucy: Think and Reason to Solve Text-to-SQL [12.52968634440807]
  大規模言語モデル(LLM)は、自然言語でデータベースをクエリするユーザを支援するために大きな進歩を遂げた。 LLMは、多くの標準ベンチマークで最先端の結果を提供するが、大規模エンタープライズデータベースに適用した場合、その性能は著しく低下する。 本稿では,質問理解におけるLLMのパワーと,複雑なデータベース制約を扱う自動推論手法を組み合わせた新しい解を提案する。
  論文  参考訳（メタデータ） (2024-07-06T18:56:42Z)
• Cross-Data Knowledge Graph Construction for LLM-enabled Educational Question-Answering System: A Case Study at HCMUT [2.8000537365271367]
  大規模言語モデル(LLM)は活発な研究トピックとして現れている。 LLMはイベントの記憶、新しい情報の導入、ドメイン固有の問題や幻覚への対処において課題に直面している。 本稿では,複数のデータソースから知識グラフを自動的に構築する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-14T16:34:31Z)
• Exploring the Potential of Large Language Models in Graph Generation [51.046188600990014]
  グラフ生成は、与えられたプロパティを持つグラフを生成するために、大きな言語モデル(LLM)を必要とする。 本稿では,LLMのグラフ生成能力について,系統的なタスク設計と実験による検討を行う。 評価の結果,LLM,特にGPT-4は,グラフ生成タスクに予備的能力を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-21T12:37:54Z)
• Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
  大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。 本稿では、そのような統合を2つの主要なカテゴリに分岐する。
  論文  参考訳（メタデータ） (2023-10-09T07:59:34Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)
• Querying Large Language Models with SQL [16.383179496709737]
  多くのユースケースでは、情報はテキストに格納されるが、構造化データでは利用できない。 事前訓練されたLarge Language Models (LLMs) の台頭に伴い、大量のテキストコーパスから抽出された情報を保存および使用するための効果的なソリューションが現在存在する。 本稿では,従来のデータベースアーキテクチャに基づくプロトタイプであるGaloisについて紹介する。
  論文  参考訳（メタデータ） (2023-04-02T06:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。