論文の概要: A Benchmark to Understand the Role of Knowledge Graphs on Large Language
Model's Accuracy for Question Answering on Enterprise SQL Databases
- arxiv url: http://arxiv.org/abs/2311.07509v1
- Date: Mon, 13 Nov 2023 17:54:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 13:24:35.109785
- Title: A Benchmark to Understand the Role of Knowledge Graphs on Large Language
Model's Accuracy for Question Answering on Enterprise SQL Databases
- Title(参考訳): エンタープライズSQLデータベースにおける問合せ回答のための大規模言語モデルにおける知識グラフの役割理解のためのベンチマーク
- Authors: Juan Sequeda, Dean Allemang, Bryon Jacob
- Abstract要約: 本研究の目的は,LLMを用いた質問応答システムの精度を企業質問の文脈で評価することである。
また、精度向上における知識グラフの役割についても検討する。
- 参考スコア(独自算出の注目度): 1.0786522863027366
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Enterprise applications of Large Language Models (LLMs) hold promise for
question answering on enterprise SQL databases. However, the extent to which
LLMs can accurately respond to enterprise questions in such databases remains
unclear, given the absence of suitable Text-to-SQL benchmarks tailored to
enterprise settings. Additionally, the potential of Knowledge Graphs (KGs) to
enhance LLM-based question answering by providing business context is not well
understood. This study aims to evaluate the accuracy of LLM-powered question
answering systems in the context of enterprise questions and SQL databases,
while also exploring the role of knowledge graphs in improving accuracy. To
achieve this, we introduce a benchmark comprising an enterprise SQL schema in
the insurance domain, a range of enterprise queries encompassing reporting to
metrics, and a contextual layer incorporating an ontology and mappings that
define a knowledge graph. Our primary finding reveals that question answering
using GPT-4, with zero-shot prompts directly on SQL databases, achieves an
accuracy of 16%. Notably, this accuracy increases to 54% when questions are
posed over a Knowledge Graph representation of the enterprise SQL database.
Therefore, investing in Knowledge Graph provides higher accuracy for LLM
powered question answering systems.
- Abstract(参考訳): 大規模言語モデル(LLM)のエンタープライズアプリケーションは、エンタープライズSQLデータベースに対する質問応答を約束する。
しかし、エンタープライズ設定に適したText-to-SQLベンチマークが存在しないため、LLMがこのようなデータベースのエンタープライズ問題に正確に対応できる範囲は未定である。
さらに、ビジネスコンテキストを提供することでLLMに基づく質問応答を強化する知識グラフ(KG)の可能性はよく理解されていない。
本研究の目的は,企業質問やSQLデータベースの文脈におけるLCMを利用した質問応答システムの精度を評価するとともに,知識グラフの精度向上における役割を検討することである。
これを実現するために,保険ドメインのエンタープライズSQLスキーマ,メトリクスへのレポートを含むエンタープライズクエリの範囲,知識グラフを定義するオントロジーとマッピングを組み込んだコンテキスト層を含むベンチマークを導入する。
GPT-4を用いた質問応答は,SQLデータベース上で直接ゼロショットプロンプトで16%の精度を実現している。
特に、この精度は、エンタープライズSQLデータベースの知識グラフ表現に疑問が提示されると54%に向上する。
したがって、知識グラフへの投資はLLMによる質問応答システムに高い精度を提供する。
関連論文リスト
- EPI-SQL: Enhancing Text-to-SQL Translation with Error-Prevention Instructions [0.5755004576310334]
本稿では,Large Language Models(LLMs)を利用した新しい手法フレームワークであるEPIを導入し,テキスト・ツー・ワン・タスクの性能向上を図る。
EPI-は4段階のプロセスで動作し、一般的なエラー防止命令(EPI)を生成する。
タスク固有のガイダンスを提供し、手元にあるタスクの潜在的なエラーを回避することができる。
論文 参考訳(メタデータ) (2024-04-21T03:52:46Z) - Knowledge-to-SQL: Enhancing SQL Generation with Data Expert LLM [16.836007408933693]
既存のモデルは、データベーススキーマに従ってthesqlを生成するために、Large Language Modelsの能力に依存している。
我々は,あらゆるタイプのテキスト・トゥ・エキスパート・モデルに対して,適切な知識を利用する知識・ツー・エキスパート・フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-18T09:10:04Z) - MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL [48.523327752786585]
我々は,新しいテキスト・ツー・データベース・ベースのマルチエージェント・コラボレーティブ・フレームワークであるMACを紹介する。
本フレームワークは,テキスト・ツー・ジェネレーションのためのコア・デコンポーザ・エージェントと,数発のチェーン・オブ・シークレット・推論を備える。
我々のフレームワークでは、GPT-4を全てのエージェントタスクの強力なバックボーンとして利用し、フレームワークの上限を決定する。
次に、GPT-4のようにCode 7Bを活用して、オープンソースの命令フォローモデルsql-Llamaを微調整する。
論文 参考訳(メタデータ) (2023-12-18T14:40:20Z) - An In-Context Schema Understanding Method for Knowledge Base Question
Answering [70.87993081445127]
大きな言語モデル(LLM)は、言語理解において強力な能力を示しており、この課題を解決するために使用することができる。
既存のメソッドは、当初、スキーマ固有の詳細を使わずにLLMを使用してロジックフォームのドラフトを生成することで、この課題を回避している。
そこで本研究では,LLMが文脈内学習を利用してスキーマを直接理解できる簡易なインコンテキスト理解(ICSU)手法を提案する。
論文 参考訳(メタデータ) (2023-10-22T04:19:17Z) - Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
論文 参考訳(メタデータ) (2023-08-29T14:59:54Z) - Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge
Graph Question Answering [7.888547093390469]
大言語モデル(LLM)は、ゼロショットのクローズドブック質問応答タスクを実行することができる。
我々は,LSMの入力において,その知識を直接拡張することを提案する。
我々のフレームワークであるKAPING(Knowledge-Augmented Language Model Prompting)は、モデルトレーニングを必要としないため、完全にゼロショットである。
論文 参考訳(メタデータ) (2023-06-07T04:15:21Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳(メタデータ) (2023-05-26T21:39:05Z) - Table Meets LLM: Can Large Language Models Understand Structured Table
Data? A Benchmark and Empirical Study [47.6239689986714]
大規模言語モデル(LLM)は、自然言語(NL)に関連する課題を解決するために、数ショットの推論器として魅力的になってきている。
我々は,LLMの構造理解能力(SUC)を評価するためのベンチマークを設計することで,これを理解しようとしている。
その結果、テーブル入力形式、コンテンツ順序、ロールプロンプト、パーティションマークなど、いくつかの入力選択によってパフォーマンスが変化していることが判明した。
論文 参考訳(メタデータ) (2023-05-22T14:23:46Z) - Dual Reader-Parser on Hybrid Textual and Tabular Evidence for Open
Domain Question Answering [78.9863753810787]
世界の知識は構造化データベースに保存されている。
クエリ言語は、複雑な推論を必要とする質問に答えるだけでなく、完全な説明可能性を提供することができる。
論文 参考訳(メタデータ) (2021-08-05T22:04:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。