論文の概要: A Benchmark to Understand the Role of Knowledge Graphs on Large Language Model's Accuracy for Question Answering on Enterprise SQL Databases

• arxiv url: http://arxiv.org/abs/2311.07509v1
• Date: Mon, 13 Nov 2023 17:54:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 13:24:35.109785
• Title: A Benchmark to Understand the Role of Knowledge Graphs on Large Language Model's Accuracy for Question Answering on Enterprise SQL Databases
• Title（参考訳）: エンタープライズSQLデータベースにおける問合せ回答のための大規模言語モデルにおける知識グラフの役割理解のためのベンチマーク
• Authors: Juan Sequeda, Dean Allemang, Bryon Jacob
• Abstract要約: 本研究の目的は,LLMを用いた質問応答システムの精度を企業質問の文脈で評価することである。 また、精度向上における知識グラフの役割についても検討する。
• 参考スコア（独自算出の注目度）: 1.0786522863027366
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enterprise applications of Large Language Models (LLMs) hold promise for question answering on enterprise SQL databases. However, the extent to which LLMs can accurately respond to enterprise questions in such databases remains unclear, given the absence of suitable Text-to-SQL benchmarks tailored to enterprise settings. Additionally, the potential of Knowledge Graphs (KGs) to enhance LLM-based question answering by providing business context is not well understood. This study aims to evaluate the accuracy of LLM-powered question answering systems in the context of enterprise questions and SQL databases, while also exploring the role of knowledge graphs in improving accuracy. To achieve this, we introduce a benchmark comprising an enterprise SQL schema in the insurance domain, a range of enterprise queries encompassing reporting to metrics, and a contextual layer incorporating an ontology and mappings that define a knowledge graph. Our primary finding reveals that question answering using GPT-4, with zero-shot prompts directly on SQL databases, achieves an accuracy of 16%. Notably, this accuracy increases to 54% when questions are posed over a Knowledge Graph representation of the enterprise SQL database. Therefore, investing in Knowledge Graph provides higher accuracy for LLM powered question answering systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)のエンタープライズアプリケーションは、エンタープライズSQLデータベースに対する質問応答を約束する。 しかし、エンタープライズ設定に適したText-to-SQLベンチマークが存在しないため、LLMがこのようなデータベースのエンタープライズ問題に正確に対応できる範囲は未定である。 さらに、ビジネスコンテキストを提供することでLLMに基づく質問応答を強化する知識グラフ(KG)の可能性はよく理解されていない。 本研究の目的は,企業質問やSQLデータベースの文脈におけるLCMを利用した質問応答システムの精度を評価するとともに,知識グラフの精度向上における役割を検討することである。 これを実現するために,保険ドメインのエンタープライズSQLスキーマ,メトリクスへのレポートを含むエンタープライズクエリの範囲,知識グラフを定義するオントロジーとマッピングを組み込んだコンテキスト層を含むベンチマークを導入する。 GPT-4を用いた質問応答は,SQLデータベース上で直接ゼロショットプロンプトで16%の精度を実現している。 特に、この精度は、エンタープライズSQLデータベースの知識グラフ表現に疑問が提示されると54%に向上する。 したがって、知識グラフへの投資はLLMによる質問応答システムに高い精度を提供する。

関連論文リスト

• Towards Evaluating Large Language Models for Graph Query Generation [49.49881799107061]
  大言語モデル(LLM)は、生成人工知能(GenAI)の景観に革命をもたらしている 本稿では,オープンアクセス LLM を用いてグラフデータベースと対話する強力な言語としてクエリを生成することの課題について比較検討する。 クエリ生成精度を実証的に分析したところ、Claude Sonnet 3.5は特定のドメインでそれよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-11-13T09:11:56Z)
• BEAVER: An Enterprise Benchmark for Text-to-SQL [6.3900786001871195]
  既存のテキストから生成するベンチマークは、Webから利用可能な表を使って構築されている。 本稿では,企業データウェアハウスデータを含むベンチマークに対して,既製のLCMを適用する。 以下に示すように、パフォーマンスの悪い理由は、主に3つの特徴による。
  論文  参考訳（メタデータ） (2024-09-03T16:37:45Z)
• Hybrid Querying Over Relational Databases and Large Language Models [8.926173054003547]
  実世界の4つのデータベースに対する120以上の問合せを含む最初のクロスドメインベンチマークであるSWANを提示する。 1つはスキーマ拡張に基づくもので、もう1つはユーザ定義関数に基づくものである。 評価の結果,GPT-4Turboを数発のプロンプトで使用すれば,実行精度が40.0%,データ事実性が48.2%まで向上できることがわかった。
  論文  参考訳（メタデータ） (2024-08-01T19:29:18Z)
• Relational Database Augmented Large Language Model [59.38841050766026]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。 彼らは、トレーニングや教師付き微調整プロセスを通じてのみ、新しい知識を取り入れることができる。 この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
  論文  参考訳（メタデータ） (2024-07-21T06:19:10Z)
• RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
  文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。 In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。 実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-07-11T08:19:58Z)
• Automating Pharmacovigilance Evidence Generation: Using Large Language Models to Produce Context-Aware SQL [0.0]
  検索拡張世代(RAG)フレームワークでOpenAIのGPT-4モデルを利用する。 ビジネスコンテキストドキュメントはビジネスコンテキストドキュメントでリッチ化され、NLQを構造化クエリ言語クエリに変換する。 複雑性の高いクエリが除外された場合、パフォーマンスは最大85%向上した。
  論文  参考訳（メタデータ） (2024-06-15T17:07:31Z)
• Knowledge-to-SQL: Enhancing SQL Generation with Data Expert LLM [15.888784472807775]
  既存のメソッドは、クエリを生成するための大規模言語モデル(LLM)の包括的な機能に依存している。 我々は,すべてのテキスト・トゥ・モデルに対して適切な知識を利用する知識・ツー・データ・エキスパート・フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T09:10:04Z)
• Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
  大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
  論文  参考訳（メタデータ） (2023-08-29T14:59:54Z)
• Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering [7.888547093390469]
  大言語モデル(LLM)は、ゼロショットのクローズドブック質問応答タスクを実行することができる。 我々は,LSMの入力において,その知識を直接拡張することを提案する。 我々のフレームワークであるKAPING(Knowledge-Augmented Language Model Prompting)は、モデルトレーニングを必要としないため、完全にゼロショットである。
  論文  参考訳（メタデータ） (2023-06-07T04:15:21Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• Dual Reader-Parser on Hybrid Textual and Tabular Evidence for Open Domain Question Answering [78.9863753810787]
  世界の知識は構造化データベースに保存されている。 クエリ言語は、複雑な推論を必要とする質問に答えるだけでなく、完全な説明可能性を提供することができる。
  論文  参考訳（メタデータ） (2021-08-05T22:04:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。