論文の概要: Increasing the LLM Accuracy for Question Answering: Ontologies to the Rescue!
- arxiv url: http://arxiv.org/abs/2405.11706v1
- Date: Mon, 20 May 2024 00:28:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 14:43:16.067108
- Title: Increasing the LLM Accuracy for Question Answering: Ontologies to the Rescue!
- Title（参考訳）: 質問応答のためのLCM精度の向上:救助へのオントロジー!
- Authors: Dean Allemang, Juan Sequeda,
- Abstract要約: 本稿では,1)オントロジーに基づくクエリチェック (OBQC) と2) LLM修復からなるアプローチを提案する。
当社のアプローチでは、"知らない"結果の8%を含む、全体的な精度を72%に向上しています。
- 参考スコア（独自算出の注目度）: 1.0786522863027366
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There is increasing evidence that question-answering (QA) systems with Large Language Models (LLMs), which employ a knowledge graph/semantic representation of an enterprise SQL database (i.e. Text-to-SPARQL), achieve higher accuracy compared to systems that answer questions directly on SQL databases (i.e. Text-to-SQL). Our previous benchmark research showed that by using a knowledge graph, the accuracy improved from 16% to 54%. The question remains: how can we further improve the accuracy and reduce the error rate? Building on the observations of our previous research where the inaccurate LLM-generated SPARQL queries followed incorrect paths, we present an approach that consists of 1) Ontology-based Query Check (OBQC): detects errors by leveraging the ontology of the knowledge graph to check if the LLM-generated SPARQL query matches the semantic of ontology and 2) LLM Repair: use the error explanations with an LLM to repair the SPARQL query. Using the chat with the data benchmark, our primary finding is that our approach increases the overall accuracy to 72% including an additional 8% of "I don't know" unknown results. Thus, the overall error rate is 20%. These results provide further evidence that investing knowledge graphs, namely the ontology, provides higher accuracy for LLM powered question answering systems.
- Abstract（参考訳）: エンタープライズSQLデータベースの知識グラフ/意味表現(Text-to-SPARQL)を利用するLLM(Large Language Models)を用いたQAシステムは、SQLデータベース(Text-to-SQL)上で直接質問に答えるシステムに比べて精度が高いという証拠が増えている。
これまでのベンチマークでは,知識グラフを用いることで,精度が16%から54%に向上した。
疑問は残る: 精度をさらに改善し、エラー率を下げるにはどうすればいいのか?
LLM生成したSPARQLクエリが不正確な経路を辿った過去の研究の観測に基づいて、我々はそのアプローチを提示する。
1)オントロジーに基づくクエリチェック(OBQC):知識グラフのオントロジーを利用してエラーを検出し、LLM生成したSPARQLクエリがオントロジーの意味と一致するかどうかをチェックする。
2) LLM修復: LLMによるエラー説明を使用してSPARQLクエリを修復する。
データベンチマークとチャットすることで、私たちのアプローチが全体の精度を72%に向上し、"私は知らない"結果の8%が追加で含まれています。
したがって、全体のエラー率は20%である。
これらの結果は、知識グラフ、すなわちオントロジーの投資がLLMによる質問応答システムにより高い精度をもたらすというさらなる証拠を与える。
関連論文リスト
- LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。
バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
論文 参考訳（メタデータ） (2024-10-27T16:23:26Z) - Traceable LLM-based validation of statements in knowledge graphs [0.0]
本稿では,LLMを用いたRDF三重項の検証手法を提案する。
代わりに、認証されたRDF文は、ウェブ検索またはウィキペディアで検索された外部文書の断片と比較される。
このワークフローのバイオサイエンスコンテンツへの適用性を評価するため,BioREDデータセットから1,719個の正のステートメントと,新たに生成された負のステートメントの数を比較検討した。
論文 参考訳（メタデータ） (2024-09-11T12:27:41Z) - S-EQA: Tackling Situational Queries in Embodied Question Answering [48.43453390717167]
本研究では,家庭環境における状況問合せ(S-EQA)による身体的質問回答の課題を提示し,解決する。
まず, LLMの出力を包み込み, ユニークなコンセンサス・クエリと対応するコンセンサス・オブジェクトのデータセットを作成する, プロンプト・ジェネレート・評価手法を提案する。
本稿では,VQA(Visual Question Answering)において生成したオブジェクトコンセンサスからフレーム化されたクエリを用いて,状況に応じた質問に対して直接回答する際の精度を15.31%改善したことを報告した。
論文 参考訳（メタデータ） (2024-05-08T00:45:20Z) - Logic Query of Thoughts: Guiding Large Language Models to Answer Complex Logic Queries with Knowledge Graphs [102.37496443389203]
LGOT(Logic-Query-of-Thoughts)は知識グラフ推論と大規模言語モデルを組み合わせた最初の方法である。
実験の結果,ChatGPTよりも20%向上した。
論文 参考訳（メタデータ） (2024-03-17T17:01:45Z) - Analyzing the Effectiveness of Large Language Models on Text-to-SQL
Synthesis [4.412170175171256]
本研究では,大規模言語モデルを用いたテキスト・ツー・プログラム合成における様々なアプローチについて検討する。
目標は、データベーススキーマと共に自然言語の質問を入力し、正しいSELECTクエリを出力することであった。
論文 参考訳（メタデータ） (2024-01-22T22:05:42Z) - Leveraging LLMs in Scholarly Knowledge Graph Question Answering [7.951847862547378]
KGQAは大きな言語モデル(LLM)を活用することで自然言語の質問に答える
SciQAのF1スコアは,Scholarly Knowledge Graph Question Answering Challengeベンチマークの1つである99.0%である。
論文 参考訳（メタデータ） (2023-11-16T12:13:49Z) - A Benchmark to Understand the Role of Knowledge Graphs on Large Language
Model's Accuracy for Question Answering on Enterprise SQL Databases [1.0786522863027366]
本研究の目的は,LLMを用いた質問応答システムの精度を企業質問の文脈で評価することである。
また、精度向上における知識グラフの役割についても検討する。
論文 参考訳（メタデータ） (2023-11-13T17:54:50Z) - Learning From Mistakes Makes LLM Better Reasoner [106.48571828587728]
大規模言語モデル(LLM)は、最近数学の問題を解く際、顕著な推論能力を示した。
この研究は、LLMが人間の学習プロセスに似たMistAkes(LEMA)から学習できるかどうかを探求する。
論文 参考訳（メタデータ） (2023-10-31T17:52:22Z) - Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
大規模言語モデル(LLM)の純粋因果推論スキルをテストする。
相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。
これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
論文 参考訳（メタデータ） (2023-06-09T12:09:15Z) - Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
本研究では,ALIESと呼ばれる新しい手法を提案する。
入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。
元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
論文 参考訳（メタデータ） (2023-05-24T06:16:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。