論文の概要: Evaluating Large Language Models in Semantic Parsing for Conversational
Question Answering over Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2401.01711v1
- Date: Wed, 3 Jan 2024 12:28:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-04 14:10:21.843165
- Title: Evaluating Large Language Models in Semantic Parsing for Conversational
Question Answering over Knowledge Graphs
- Title(参考訳): 知識グラフを用いた会話質問応答における意味解析における大規模言語モデルの評価
- Authors: Phillip Schneider, Manuel Klettner, Kristiina Jokinen, Elena Simperl,
Florian Matthes
- Abstract要約: 本稿では,この課題に対して事前訓練を受けていない大規模言語モデルの性能を評価する。
その結果,大規模言語モデルでは対話からグラフクエリを生成することができることがわかった。
- 参考スコア(独自算出の注目度): 6.869834883252353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conversational question answering systems often rely on semantic parsing to
enable interactive information retrieval, which involves the generation of
structured database queries from a natural language input. For
information-seeking conversations about facts stored within a knowledge graph,
dialogue utterances are transformed into graph queries in a process that is
called knowledge-based conversational question answering. This paper evaluates
the performance of large language models that have not been explicitly
pre-trained on this task. Through a series of experiments on an extensive
benchmark dataset, we compare models of varying sizes with different prompting
techniques and identify common issue types in the generated output. Our results
demonstrate that large language models are capable of generating graph queries
from dialogues, with significant improvements achievable through few-shot
prompting and fine-tuning techniques, especially for smaller models that
exhibit lower zero-shot performance.
- Abstract(参考訳): 対話型質問応答システムは、自然言語入力から構造化データベースクエリを生成する対話型情報検索を可能にするために、意味解析に依存することが多い。
知識グラフに格納された事実に関する情報検索会話では、対話発話は知識ベースの会話質問応答と呼ばれるプロセスでグラフクエリに変換される。
本稿では,この課題に対して事前訓練を受けていない大規模言語モデルの性能を評価する。
大規模なベンチマークデータセットの一連の実験を通して、異なるプロンプト技術を用いて様々なサイズのモデルを比較し、生成した出力の共通問題タイプを同定する。
その結果,大規模な言語モデルでは対話からグラフクエリを生成することが可能であり,特にゼロショット性能の低い小型モデルでは,短時間プロンプトや微調整による大幅な改善が期待できることがわかった。
関連論文リスト
- A Comparative Analysis of Conversational Large Language Models in
Knowledge-Based Text Generation [5.661396828160973]
本研究では,意味的三重項から自然言語文を生成する際に,対話型大規模言語モデルの実証分析を行う。
我々は、異なるプロンプト技術を用いて、異なる大きさの4つの大きな言語モデルを比較する。
この結果から,三重動詞化における大規模言語モデルの能力は,数発のプロンプト,後処理,効率的な微調整技術によって著しく向上することが示唆された。
論文 参考訳(メタデータ) (2024-02-02T15:26:39Z) - OLaLa: Ontology Matching with Large Language Models [2.211868306499727]
オントロジーマッチング(Ontology Matching)は、自然言語の情報が処理すべき最も重要な信号の1つである、困難なタスクである。
大規模言語モデルの台頭により、この知識をマッチングパイプラインにより良い方法で組み込むことが可能である。
少数の例とよく設計されたプロンプトで、教師付きマッチングシステムに匹敵する結果が得られることを示す。
論文 参考訳(メタデータ) (2023-11-07T09:34:20Z) - Lost in the Middle: How Language Models Use Long Contexts [88.78803442320246]
本研究では,言語モデルの性能を2つのタスクで解析する。
関連する情報の位置を変えると,性能が著しく低下することがわかった。
我々の分析は、言語モデルが入力コンテキストをどのように使用するかをよりよく理解し、将来の長文言語モデルのための新しい評価プロトコルを提供する。
論文 参考訳(メタデータ) (2023-07-06T17:54:11Z) - Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。
ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
論文 参考訳(メタデータ) (2023-05-04T16:04:41Z) - Semantic Parsing for Conversational Question Answering over Knowledge
Graphs [63.939700311269156]
本研究では,ユーザの質問にSparqlパースとアノテートし,システム回答が実行結果に対応するデータセットを開発する。
本稿では,2つの意味解析手法を提案し,その課題を強調した。
私たちのデータセットとモデルはhttps://github.com/Edinburgh/SPICE.orgで公開されています。
論文 参考訳(メタデータ) (2023-01-28T14:45:11Z) - Understanding the Effectiveness of Very Large Language Models on Dialog
Evaluation [20.18656308749408]
大規模言語モデル (LLM) は生成に使われており、人間のようなテキストを出力することができる。
本稿では,プロンプト中のサンプル数と使用するサンプル選択の種類がモデルの性能に与える影響について検討する。
論文 参考訳(メタデータ) (2023-01-27T22:02:27Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳(メタデータ) (2022-05-21T19:49:04Z) - Reasoning in Dialog: Improving Response Generation by Context Reading
Comprehension [49.92173751203827]
マルチターンダイアログでは、発話が文の完全な形を取るとは限らない。
読み解きの質問に答えるモデルの能力を検討し、応答生成性能の向上を提案する。
論文 参考訳(メタデータ) (2020-12-14T10:58:01Z) - Plug-and-Play Conversational Models [62.77150879036442]
我々はデコード時にさらなる計算を必要としないアプローチを導入し、また大きな言語モデルの微調整も必要としない。
我々は、広範囲な自動的・人的評価を通じて、複数の望ましい属性について、生成した会話応答に対する高い制御を実証する。
論文 参考訳(メタデータ) (2020-10-09T03:17:51Z) - MLR: A Two-stage Conversational Query Rewriting Model with Multi-task
Learning [16.88648782206587]
本稿では,シーケンスラベリングとクエリリライトのマルチタスクモデルであるMLRを提案する。
MLRは、マルチターンの会話クエリを単一のターンクエリに再構成し、ユーザの真の意図を簡潔に伝達する。
モデルをトレーニングするために,新しい中国語クエリ書き換えデータセットを構築し,その上で実験を行う。
論文 参考訳(メタデータ) (2020-04-13T08:04:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。