論文の概要: An In-Context Schema Understanding Method for Knowledge Base Question
Answering
- arxiv url: http://arxiv.org/abs/2310.14174v1
- Date: Sun, 22 Oct 2023 04:19:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 01:23:06.964488
- Title: An In-Context Schema Understanding Method for Knowledge Base Question
Answering
- Title(参考訳): 知識ベース質問応答のための文脈内スキーマ理解手法
- Authors: Yantao Liu, Zixuan Li, Xiaolong Jin, Long Bai, Saiping Guan, Jiafeng
Guo and Xueqi Cheng
- Abstract要約: 知識ベース質問回答(KBQA)タスクは、与えられた知識ベースに基づいて自然言語質問に回答することを目的としている。
このタスクの一般的な方法として、セマンティックパーシングベースのものは、まず自然言語の質問を論理形式(SPARQLクエリなど)に変換し、その後、知識ベースでそれらを実行して答えを得る。
近年,Large Language Models (LLMs) は言語理解に強い能力を示し,そのような手法のセマンティクスとして採用されている。
本稿では,LLMを意味として用いるためのインコンテキスト理解(ICSU)手法を提案する。
- 参考スコア(独自算出の注目度): 74.43425602444684
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Knowledge Base Question Answering (KBQA) task aims to answer natural
language questions based on a given knowledge base. As a kind of common method
for this task, semantic parsing-based ones first convert natural language
questions to logical forms (e.g., SPARQL queries) and then execute them on
knowledge bases to get answers. Recently, Large Language Models (LLMs) have
shown strong abilities in language understanding and may be adopted as semantic
parsers in such kinds of methods. However, in doing so, a great challenge for
LLMs is to understand the schema of knowledge bases. Therefore, in this paper,
we propose an In-Context Schema Understanding (ICSU) method for facilitating
LLMs to be used as a semantic parser in KBQA. Specifically, ICSU adopts the
In-context Learning mechanism to instruct LLMs to generate SPARQL queries with
examples. In order to retrieve appropriate examples from annotated
question-query pairs, which contain comprehensive schema information related to
questions, ICSU explores four different retrieval strategies. Experimental
results on the largest KBQA benchmark, KQA Pro, show that ICSU with all these
strategies outperforms that with a random retrieval strategy significantly
(from 12\% to 78.76\% in accuracy).
- Abstract(参考訳): 知識ベース質問回答(KBQA)タスクは、与えられた知識ベースに基づいて自然言語質問に回答することを目的としている。
このタスクの一般的な方法として、セマンティックパーシングベースのものは、まず自然言語の質問を論理形式(SPARQLクエリなど)に変換し、それから知識ベースで実行して答えを得る。
近年,Large Language Models (LLMs) は言語理解に強い能力を示し,このような手法で意味解析として採用されている。
しかし、LLMにとっての大きな課題は、知識基盤のスキーマを理解することである。
そこで本研究では,KBQAのセマンティックパーサとして使用するLLMを容易にするためのインコンテキストスキーマ理解(ICSU)手法を提案する。
具体的には、ICSUは、LLMにSPARQLクエリを例で生成するように指示するために、In-context Learningメカニズムを採用している。
質問に関する包括的なスキーマ情報を含む注釈付き問合せペアから適切な例を検索するために、ICSUは4つの異なる検索戦略を探索する。
最大のKBQAベンチマークであるKQA Proの実験結果によると、ICSUの全ての戦略は、ランダムな検索戦略(精度が12\%から78.76\%)よりも優れていた。
関連論文リスト
- Interactive-KBQA: Multi-Turn Interactions for Knowledge Base Question
Answering with Large Language Models [8.316367927545373]
Interactive-KBQAは知識ベース(KB)との直接インタラクションを通じて論理形式を生成するように設計されたフレームワークである
提案手法は,WebQuestionsSP, ComplexWebQuestions, KQA Pro, MetaQAデータセット上での競合結果を実現する。
論文 参考訳(メタデータ) (2024-02-23T06:32:18Z) - SPARQL Generation: an analysis on fine-tuning OpenLLaMA for Question
Answering over a Life Science Knowledge Graph [0.0]
生命科学知識グラフを用いた質問応答のためのOpenLlama LLMの微調整戦略を評価する。
本稿では,既存のクエリのセットを知識グラフ上に拡張するためのエンドツーエンドデータ拡張手法を提案する。
また、意味のある変数名やインラインコメントなど、クエリにおける意味的な"キュー"の役割についても検討する。
論文 参考訳(メタデータ) (2024-02-07T07:24:01Z) - keqing: knowledge-based question answering is a nature chain-of-thought
mentor of LLM [27.76205400533089]
大規模言語モデル(LLM)は様々な自然言語処理(NLP)タスク、特に質問応答において顕著な性能を示した。
本稿では,知識グラフ上の質問関連構造化情報を取得するために,ChatGPTなどのLLMを支援する新しいフレームワークを提案する。
KBQAデータセットの実験結果から,Keqingは競合性能を達成でき,各質問に答える論理を説明できることがわかった。
論文 参考訳(メタデータ) (2023-12-31T08:39:04Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - A Simple Baseline for Knowledge-Based Visual Question Answering [78.00758742784532]
本稿では,知識に基づく視覚質問応答(KB-VQA)の問題について述べる。
本論文の主な貢献は,よりシンプルで容易に再現可能なパイプラインを提案することである。
近年のアプローチとは対照的に,本手法はトレーニングフリーであり,外部データベースやAPIへのアクセスを必要とせず,OK-VQAおよびA-OK-VQAデータセット上で最先端の精度を実現する。
論文 参考訳(メタデータ) (2023-10-20T15:08:17Z) - Code-Style In-Context Learning for Knowledge-Based Question Answering [34.821095476923745]
知識に基づく質問応答(KBQA)のためのコードスタイルのインコンテキスト学習手法を提案する。
3つの主流データセットに対する実験結果から,本手法は論理形式を生成する際のフォーマットエラー問題を劇的に軽減した。
論文 参考訳(メタデータ) (2023-09-09T06:27:00Z) - Enhancing In-Context Learning with Answer Feedback for Multi-Span
Question Answering [9.158919909909146]
本稿では,LLMが望ましくない出力を通知するなど,ラベル付きデータを活用する新しい手法を提案する。
3つのマルチスパン質問応答データセットとキーフレーズ抽出データセットの実験により、我々の新しいプロンプト戦略はLLMの文脈内学習性能を一貫して改善することを示した。
論文 参考訳(メタデータ) (2023-06-07T15:20:24Z) - Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
本研究では,ALIESと呼ばれる新しい手法を提案する。
入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。
元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
論文 参考訳(メタデータ) (2023-05-24T06:16:44Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z) - Text Modular Networks: Learning to Decompose Tasks in the Language of
Existing Models [61.480085460269514]
本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。
我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
論文 参考訳(メタデータ) (2020-09-01T23:45:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。