論文の概要: A Comprehensive Evaluation of Neural SPARQL Query Generation from
Natural Language Questions
- arxiv url: http://arxiv.org/abs/2304.07772v3
- Date: Thu, 11 Jan 2024 18:49:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 21:40:59.477431
- Title: A Comprehensive Evaluation of Neural SPARQL Query Generation from
Natural Language Questions
- Title(参考訳): 自然言語質問からのニューラルネットワークSPARQLクエリ生成の総合的評価
- Authors: Papa Abdou Karim Karou Diallo, Samuel Reyd, Amal Zouaq
- Abstract要約: 近年、SPARQLクエリ生成のためのニューラルネットワーク翻訳(NMT)の分野が著しく成長している。
本稿では,最近のNMTに基づくSPARQL生成研究を再現し,拡張する様々な実験について述べる。
- 参考スコア(独自算出の注目度): 2.5782420501870296
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In recent years, the field of neural machine translation (NMT) for SPARQL
query generation has witnessed significant growth. Incorporating the copy
mechanism with traditional encoder-decoder architectures and using pre-trained
encoder-decoders and large language models have set new performance benchmarks.
This paper presents various experiments that replicate and expand upon recent
NMT-based SPARQL generation studies, comparing pre-trained language models
(PLMs), non-pre-trained language models (NPLMs), and large language models
(LLMs), highlighting the impact of question annotation and the copy mechanism
and testing various fine-tuning methods using LLMs. In particular, we provide a
systematic error analysis of the models and test their generalization ability.
Our study demonstrates that the copy mechanism yields significant performance
enhancements for most PLMs and NPLMs. Annotating the data is pivotal to
generating correct URIs, with the "tag-within" strategy emerging as the most
effective approach. Additionally, our findings reveal that the primary source
of errors stems from incorrect URIs in SPARQL queries that are sometimes
replaced with hallucinated URIs when using base models. This does not happen
using the copy mechanism, but it sometimes leads to selecting wrong URIs among
candidates. Finally, the performance of the tested LLMs fell short of achieving
the desired outcomes.
- Abstract(参考訳): 近年、SPARQLクエリ生成のためのニューラルネットワーク翻訳(NMT)の分野が著しく成長している。
コピー機構を従来のエンコーダ・デコーダアーキテクチャに組み入れ、トレーニング済みエンコーダ・デコーダと大規模言語モデルを使用して新しいパフォーマンスベンチマークを設定。
本稿では,最近のnmtベースのsparql生成実験を再現・拡張し,事前学習型言語モデル(plm),非事前学習型言語モデル(nplms),大規模言語モデル(llms)を比較し,質問アノテーションとコピー機構の影響を強調し,llmを用いた様々な微調整手法をテストする。
特に,モデルの系統的誤り解析を行い,その一般化能力をテストする。
本研究は,ほとんどのPLMおよびNPLMにおいて,コピー機構が大幅な性能向上をもたらすことを示す。
データアノテートは正しいuriを生成する上で重要であり、最も効果的なアプローチとして"tag-within"戦略が登場している。
さらに,SPARQLクエリにおける誤りの主な原因は,ベースモデルを使用する場合,時に幻覚的URIに置き換えられる誤ったURIであることがわかった。
これはコピーメカニズムを使用しないが、時には候補間で間違ったURIを選択する。
最終的に、試験されたLLMの性能は、望ましい結果を達成するには至らなかった。
関連論文リスト
- LLM-augmented Preference Learning from Natural Language [19.700169351688768]
大規模言語モデル(LLM)は、より大きな文脈長を扱う。
LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。
ゼロショット学習よりもパフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-10-12T17:17:27Z) - Revisiting Large Language Models as Zero-shot Relation Extractors [8.953462875381888]
リレーショナル抽出(RE)は、ゼロショット設定下であっても、一定のラベル付きまたはラベルなしのデータを一貫して含む。
近年の研究では、大きな言語モデル(LLM)が、単に自然言語のプロンプトを与えられただけで、新しいタスクにうまく移行していることが示されている。
本研究はゼロショット関係抽出器としてLLMを探索することに焦点を当てる。
論文 参考訳(メタデータ) (2023-10-08T06:17:39Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳(メタデータ) (2023-09-27T14:44:10Z) - A Copy Mechanism for Handling Knowledge Base Elements in SPARQL Neural
Machine Translation [2.9134135167113433]
本稿では,この問題に対処する手段として,ニューラルSPARQLクエリ生成のためのコピー機構を統合することを提案する。
本稿では,2つのSeq2Seqアーキテクチャ(CNNとTransformers)にコピー層と動的知識ベース語彙を追加することで提案する。
このレイヤは、モデルを生成せずに、質問から直接KB要素をコピーする。
我々は、未知のKB要素を参照するデータセットを含む最先端のデータセットに対するアプローチを評価し、コピー拡張アーキテクチャの精度を測定する。
論文 参考訳(メタデータ) (2022-11-18T14:56:35Z) - DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
本稿では,既存のDocREモデルの根本原因について検討する。
本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。
4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
論文 参考訳(メタデータ) (2022-10-28T11:18:10Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳(メタデータ) (2022-05-23T11:01:59Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳(メタデータ) (2022-04-22T10:45:01Z) - Learning Contextual Representations for Semantic Parsing with
Generation-Augmented Pre-Training [86.91380874390778]
本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。
実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
論文 参考訳(メタデータ) (2020-12-18T15:53:50Z) - Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。
我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
論文 参考訳(メタデータ) (2020-05-22T21:34:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。