論文の概要: Increasing the LLM Accuracy for Question Answering: Ontologies to the Rescue!
- arxiv url: http://arxiv.org/abs/2405.11706v1
- Date: Mon, 20 May 2024 00:28:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 14:43:16.067108
- Title: Increasing the LLM Accuracy for Question Answering: Ontologies to the Rescue!
- Title（参考訳）: 質問応答のためのLCM精度の向上:救助へのオントロジー!
- Authors: Dean Allemang, Juan Sequeda,
- Abstract要約: 本稿では,1)オントロジーに基づくクエリチェック (OBQC) と2) LLM修復からなるアプローチを提案する。
当社のアプローチでは、"知らない"結果の8%を含む、全体的な精度を72%に向上しています。
- 参考スコア（独自算出の注目度）: 1.0786522863027366
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There is increasing evidence that question-answering (QA) systems with Large Language Models (LLMs), which employ a knowledge graph/semantic representation of an enterprise SQL database (i.e. Text-to-SPARQL), achieve higher accuracy compared to systems that answer questions directly on SQL databases (i.e. Text-to-SQL). Our previous benchmark research showed that by using a knowledge graph, the accuracy improved from 16% to 54%. The question remains: how can we further improve the accuracy and reduce the error rate? Building on the observations of our previous research where the inaccurate LLM-generated SPARQL queries followed incorrect paths, we present an approach that consists of 1) Ontology-based Query Check (OBQC): detects errors by leveraging the ontology of the knowledge graph to check if the LLM-generated SPARQL query matches the semantic of ontology and 2) LLM Repair: use the error explanations with an LLM to repair the SPARQL query. Using the chat with the data benchmark, our primary finding is that our approach increases the overall accuracy to 72% including an additional 8% of "I don't know" unknown results. Thus, the overall error rate is 20%. These results provide further evidence that investing knowledge graphs, namely the ontology, provides higher accuracy for LLM powered question answering systems.
- Abstract（参考訳）: エンタープライズSQLデータベースの知識グラフ/意味表現(Text-to-SPARQL)を利用するLLM(Large Language Models)を用いたQAシステムは、SQLデータベース(Text-to-SQL)上で直接質問に答えるシステムに比べて精度が高いという証拠が増えている。
これまでのベンチマークでは,知識グラフを用いることで,精度が16%から54%に向上した。
疑問は残る: 精度をさらに改善し、エラー率を下げるにはどうすればいいのか?
LLM生成したSPARQLクエリが不正確な経路を辿った過去の研究の観測に基づいて、我々はそのアプローチを提示する。
1)オントロジーに基づくクエリチェック(OBQC):知識グラフのオントロジーを利用してエラーを検出し、LLM生成したSPARQLクエリがオントロジーの意味と一致するかどうかをチェックする。
2) LLM修復: LLMによるエラー説明を使用してSPARQLクエリを修復する。
データベンチマークとチャットすることで、私たちのアプローチが全体の精度を72%に向上し、"私は知らない"結果の8%が追加で含まれています。
したがって、全体のエラー率は20%である。
これらの結果は、知識グラフ、すなわちオントロジーの投資がLLMによる質問応答システムにより高い精度をもたらすというさらなる証拠を与える。
関連論文リスト
- Logic Query of Thoughts: Guiding Large Language Models to Answer Complex Logic Queries with Knowledge Graphs [102.37496443389203]
LGOT(Logic-Query-of-Thoughts)は知識グラフ推論と大規模言語モデルを組み合わせた最初の方法である。
実験の結果,ChatGPTよりも20%向上した。
論文 参考訳（メタデータ） (2024-03-17T17:01:45Z) - SPARQL Generation: an analysis on fine-tuning OpenLLaMA for Question
Answering over a Life Science Knowledge Graph [0.0]
生命科学知識グラフを用いた質問応答のためのOpenLlama LLMの微調整戦略を評価する。
本稿では,既存のクエリのセットを知識グラフ上に拡張するためのエンドツーエンドデータ拡張手法を提案する。
また、意味のある変数名やインラインコメントなど、クエリにおける意味的な"キュー"の役割についても検討する。
論文 参考訳（メタデータ） (2024-02-07T07:24:01Z) - Analyzing the Effectiveness of Large Language Models on Text-to-SQL
Synthesis [4.412170175171256]
本研究では,大規模言語モデルを用いたテキスト・ツー・プログラム合成における様々なアプローチについて検討する。
目標は、データベーススキーマと共に自然言語の質問を入力し、正しいSELECTクエリを出力することであった。
論文 参考訳（メタデータ） (2024-01-22T22:05:42Z) - Leveraging LLMs in Scholarly Knowledge Graph Question Answering [7.951847862547378]
KGQAは大きな言語モデル(LLM)を活用することで自然言語の質問に答える
SciQAのF1スコアは,Scholarly Knowledge Graph Question Answering Challengeベンチマークの1つである99.0%である。
論文 参考訳（メタデータ） (2023-11-16T12:13:49Z) - A Benchmark to Understand the Role of Knowledge Graphs on Large Language
Model's Accuracy for Question Answering on Enterprise SQL Databases [1.0786522863027366]
本研究の目的は,LLMを用いた質問応答システムの精度を企業質問の文脈で評価することである。
また、精度向上における知識グラフの役割についても検討する。
論文 参考訳（メタデータ） (2023-11-13T17:54:50Z) - Learning From Mistakes Makes LLM Better Reasoner [106.48571828587728]
大規模言語モデル(LLM)は、最近数学の問題を解く際、顕著な推論能力を示した。
この研究は、LLMが人間の学習プロセスに似たMistAkes(LEMA)から学習できるかどうかを探求する。
論文 参考訳（メタデータ） (2023-10-31T17:52:22Z) - Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
大規模言語モデル(LLM)の純粋因果推論スキルをテストする。
相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。
これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
論文 参考訳（メタデータ） (2023-06-09T12:09:15Z) - Estimating Large Language Model Capabilities without Labeled Test Data [51.428562302037534]
大規模言語モデル(LLM)は、ほんの数例からICL(In-context Learning)を実行するという印象的な能力を持っている。
ICLの精度推定タスクを提案し、新しいタスクで文脈内学習を行う場合のLLMの精度を予測する。
論文 参考訳（メタデータ） (2023-05-24T06:55:09Z) - Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
本研究では,ALIESと呼ばれる新しい手法を提案する。
入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。
元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
論文 参考訳（メタデータ） (2023-05-24T06:16:44Z) - Statistical Knowledge Assessment for Large Language Models [79.07989821512128]
ファクトイドの問題に関する様々なプロンプトを考慮すれば、大きな言語モデル(LLM)は事実的に正しい答えを確実に生成できるだろうか?
LLMの事実知識を評価する統計的手法であるKaRRを提案する。
この結果から,同じバックボーン構造を持つLLMの知識はスケーリング法則に則っており,命令追従データに基づくチューニングは,実際に正しいテキストを確実に生成するモデルの能力を損なう場合があることがわかった。
論文 参考訳（メタデータ） (2023-05-17T18:54:37Z) - Approximating Aggregated SQL Queries With LSTM Networks [31.528524004435933]
本稿では、近似クエリ処理(AQP)とも呼ばれるクエリ近似法を提案する。
我々は、LSTMネットワークを用いて、クエリと結果の関係を学習し、クエリ結果を予測するための高速な推論層を提供する。
提案手法では,1秒間に最大12万のクエリを予測でき,クエリのレイテンシは2ms以下であった。
論文 参考訳（メタデータ） (2020-10-25T16:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。