論文の概要: A Comprehensive Evaluation of Neural SPARQL Query Generation from Natural Language Questions

• arxiv url: http://arxiv.org/abs/2304.07772v3
• Date: Thu, 11 Jan 2024 18:49:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 21:40:59.477431
• Title: A Comprehensive Evaluation of Neural SPARQL Query Generation from Natural Language Questions
• Title（参考訳）: 自然言語質問からのニューラルネットワークSPARQLクエリ生成の総合的評価
• Authors: Papa Abdou Karim Karou Diallo, Samuel Reyd, Amal Zouaq
• Abstract要約: 近年、SPARQLクエリ生成のためのニューラルネットワーク翻訳(NMT)の分野が著しく成長している。 本稿では,最近のNMTに基づくSPARQL生成研究を再現し,拡張する様々な実験について述べる。
• 参考スコア（独自算出の注目度）: 2.5782420501870296
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In recent years, the field of neural machine translation (NMT) for SPARQL query generation has witnessed significant growth. Incorporating the copy mechanism with traditional encoder-decoder architectures and using pre-trained encoder-decoders and large language models have set new performance benchmarks. This paper presents various experiments that replicate and expand upon recent NMT-based SPARQL generation studies, comparing pre-trained language models (PLMs), non-pre-trained language models (NPLMs), and large language models (LLMs), highlighting the impact of question annotation and the copy mechanism and testing various fine-tuning methods using LLMs. In particular, we provide a systematic error analysis of the models and test their generalization ability. Our study demonstrates that the copy mechanism yields significant performance enhancements for most PLMs and NPLMs. Annotating the data is pivotal to generating correct URIs, with the "tag-within" strategy emerging as the most effective approach. Additionally, our findings reveal that the primary source of errors stems from incorrect URIs in SPARQL queries that are sometimes replaced with hallucinated URIs when using base models. This does not happen using the copy mechanism, but it sometimes leads to selecting wrong URIs among candidates. Finally, the performance of the tested LLMs fell short of achieving the desired outcomes.
• Abstract（参考訳）: 近年、SPARQLクエリ生成のためのニューラルネットワーク翻訳(NMT)の分野が著しく成長している。 コピー機構を従来のエンコーダ・デコーダアーキテクチャに組み入れ、トレーニング済みエンコーダ・デコーダと大規模言語モデルを使用して新しいパフォーマンスベンチマークを設定。 本稿では,最近のnmtベースのsparql生成実験を再現・拡張し,事前学習型言語モデル(plm),非事前学習型言語モデル(nplms),大規模言語モデル(llms)を比較し,質問アノテーションとコピー機構の影響を強調し,llmを用いた様々な微調整手法をテストする。 特に,モデルの系統的誤り解析を行い,その一般化能力をテストする。 本研究は,ほとんどのPLMおよびNPLMにおいて,コピー機構が大幅な性能向上をもたらすことを示す。 データアノテートは正しいuriを生成する上で重要であり、最も効果的なアプローチとして"tag-within"戦略が登場している。 さらに,SPARQLクエリにおける誤りの主な原因は,ベースモデルを使用する場合,時に幻覚的URIに置き換えられる誤ったURIであることがわかった。 これはコピーメカニズムを使用しないが、時には候補間で間違ったURIを選択する。 最終的に、試験されたLLMの性能は、望ましい結果を達成するには至らなかった。

関連論文リスト

• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
  大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。 この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。 Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
  論文  参考訳（メタデータ） (2024-03-31T08:58:54Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• A Copy Mechanism for Handling Knowledge Base Elements in SPARQL Neural Machine Translation [2.9134135167113433]
  本稿では,この問題に対処する手段として,ニューラルSPARQLクエリ生成のためのコピー機構を統合することを提案する。 本稿では,2つのSeq2Seqアーキテクチャ(CNNとTransformers)にコピー層と動的知識ベース語彙を追加することで提案する。 このレイヤは、モデルを生成せずに、質問から直接KB要素をコピーする。 我々は、未知のKB要素を参照するデータセットを含む最先端のデータセットに対するアプローチを評価し、コピー拡張アーキテクチャの精度を測定する。
  論文  参考訳（メタデータ） (2022-11-18T14:56:35Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training [86.91380874390778]
  本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。 実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
  論文  参考訳（メタデータ） (2020-12-18T15:53:50Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。