論文の概要: SPARQL Query Generation with LLMs: Measuring the Impact of Training Data Memorization and Knowledge Injection
- arxiv url: http://arxiv.org/abs/2507.13859v1
- Date: Fri, 18 Jul 2025 12:28:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-21 20:43:26.279354
- Title: SPARQL Query Generation with LLMs: Measuring the Impact of Training Data Memorization and Knowledge Injection
- Title（参考訳）: LLMを用いたSPARQLクエリ生成:トレーニングデータ記憶と知識注入の影響の測定
- Authors: Aleksandr Gashkov, Aleksandr Perevalov, Maria Eltsova, Andreas Both,
- Abstract要約: 大規模言語モデル(LLM)は、質問応答機能の品質を高めるのに適した方法と考えられている。
LLMはWebデータに基づいてトレーニングされており、ベンチマークや知識グラフがトレーニングデータに含まれているかどうかを研究者は制御できない。
本稿では,自然言語質問からSPARQLクエリを生成し,LLMの品質を評価する手法を提案する。
- 参考スコア（独自算出の注目度）: 81.78173888579941
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Nowadays, the importance of software with natural-language user interfaces cannot be underestimated. In particular, in Question Answering (QA) systems, generating a SPARQL query for a given natural-language question (often named Query Building) from the information retrieved from the same question is the central task of QA systems working over Knowledge Graphs (KGQA). Due to the rise of Large Language Models (LLMs), they are considered a well-suited method to increase the quality of the question-answering functionality, as there is still a lot of room for improvement, aiming for enhanced quality and trustworthiness. However, LLMs are trained on web data, where researchers have no control over whether the benchmark or the knowledge graph was already included in the training data. In this paper, we introduce a novel method that evaluates the quality of LLMs by generating a SPARQL query from a natural-language question under various conditions: (1) zero-shot SPARQL generation, (2) with knowledge injection, and (3) with "anonymized" knowledge injection. This enables us, for the first time, to estimate the influence of the training data on the QA quality improved by LLMs. Ultimately, this will help to identify how portable a method is or whether good results might mostly be achieved because a benchmark was already included in the training data (cf. LLM memorization). The developed method is portable, robust, and supports any knowledge graph; therefore, it could be easily applied to any KGQA or LLM, s.t., generating consistent insights into the actual LLM capabilities is possible.
- Abstract（参考訳）: 現在,自然言語インタフェースによるソフトウェアの重要性は過小評価できない。
特にQAシステムでは、同じ質問から取得された情報から与えられた自然言語質問(しばしばクエリビルディングと呼ばれる)に対してSPARQLクエリを生成することが、知識グラフ(KGQA)上で動作するQAシステムの中心的なタスクである。
LLM(Large Language Models)の台頭により、品質と信頼性の向上を目的とした改善の余地がまだたくさんあるため、質問応答機能の質を高めるのに適した方法と考えられている。
しかし、LLMはWebデータに基づいてトレーニングされており、ベンチマークや知識グラフがすでにトレーニングデータに含まれているかどうかを研究者は制御できない。
本稿では,(1)ゼロショットSPARQL生成,(2)ナレッジインジェクション,(3)"匿名化"知識インジェクションなど,自然言語質問からSPARQLクエリを生成し,LLMの品質を評価する新しい手法を提案する。
これにより、LLMによって改善されたQA品質に対するトレーニングデータの影響を初めて見積もることができる。
最終的にこれは、メソッドがどの程度ポータブルであるか、あるいはトレーニングデータ(LLMメモリ化)にベンチマークが含まれているため、良い結果がほとんど達成されるかどうかを判断するのに役立ちます。
開発された手法はポータブルで堅牢であり、知識グラフもサポートしているため、どのKGQAやLLMにも容易に適用でき、実際のLLM機能に対する一貫した洞察を得ることができる。
関連論文リスト
- Decompositional Reasoning for Graph Retrieval with Large Language Models [1.034893617526558]
大規模言語モデル(LLM)は多くのNLPタスクに優れるが、マルチホップ推論と現実の一貫性に苦しむ。
本稿では,テキスト知識グラフをクエリ分解によるLLM推論プロセスに統合する新しい検索手法を提案する。
本手法は,複雑な質問をサブクエストに分解し,関連するテキストのサブグラフを検索し,質問固有の知識グラフを作成して回答生成を誘導する。
論文 参考訳（メタデータ） (2025-06-16T11:44:28Z) - GenKI: Enhancing Open-Domain Question Answering with Knowledge Integration and Controllable Generation in Large Language Models [75.25348392263676]
オープンドメイン質問応答(OpenQA)は自然言語処理(NLP)の基盤である。
我々は,知識統合と制御可能生成を探求し,OpenQAの性能向上を目的としたGenKIという新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-26T08:18:33Z) - Unleashing the Power of LLMs in Dense Retrieval with Query Likelihood Modeling [69.84963245729826]
大規模言語モデル(LLM)は魅力的な意味理解能力を示している。
デンス検索は情報検索(IR)において重要な課題であり、下流タスクを再びランク付けする基盤となっている。
我々は、差別的検索器のコントラスト学習のためのより良いバックボーンを得るために、QL推定の補助的タスクを導入する。
論文 参考訳（メタデータ） (2025-04-07T16:03:59Z) - Memory-augmented Query Reconstruction for LLM-based Knowledge Graph Reasoning [45.74704900487982]
大規模言語モデル (LLM) は知識グラフ質問応答タスクにおいて顕著な性能を達成している。
本稿では,LLM をツール実行タスクから切り離すために,LLM ベースの知識グラフ推論 (MemQ) のためのメモリ拡張クエリ再構成を提案する。
MemQは、広く使われているベンチマークであるWebQSPとCWQで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-03-07T07:28:32Z) - Token-Level Density-Based Uncertainty Quantification Methods for Eliciting Truthfulness of Large Language Models [76.17975723711886]
不確実性定量化(英: Uncertainty Quantification、UQ)は、大規模言語モデル(LLM)から真正性を求めるための顕著なアプローチである。
本研究では,テキスト生成のために,分類タスクのUQ技術であるMahalanobis Distance (MD)を適用した。
提案手法は,複数レイヤのLCMからトークン埋め込みを抽出し,各トークンのMDスコアを計算し,これらの特徴を訓練した線形回帰を用いてロバストな不確実性スコアを提供する。
論文 参考訳（メタデータ） (2025-02-20T10:25:13Z) - Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。
この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。
提案手法は2つの共通データセットに対して最先端の性能を達成した。
論文 参考訳（メタデータ） (2024-12-24T16:38:04Z) - keqing: knowledge-based question answering is a nature chain-of-thought
mentor of LLM [27.76205400533089]
大規模言語モデル(LLM)は様々な自然言語処理(NLP)タスク、特に質問応答において顕著な性能を示した。
本稿では,知識グラフ上の質問関連構造化情報を取得するために,ChatGPTなどのLLMを支援する新しいフレームワークを提案する。
KBQAデータセットの実験結果から,Keqingは競合性能を達成でき,各質問に答える論理を説明できることがわかった。
論文 参考訳（メタデータ） (2023-12-31T08:39:04Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳（メタデータ） (2023-10-31T04:37:57Z) - Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。
検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。
本稿では,文書を動的に活用するための簡易な手法を提案する。
論文 参考訳（メタデータ） (2023-07-20T16:46:10Z) - Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge
Graph Question Answering [7.888547093390469]
大言語モデル(LLM)は、ゼロショットのクローズドブック質問応答タスクを実行することができる。
我々は,LSMの入力において,その知識を直接拡張することを提案する。
我々のフレームワークであるKAPING(Knowledge-Augmented Language Model Prompting)は、モデルトレーニングを必要としないため、完全にゼロショットである。
論文 参考訳（メタデータ） (2023-06-07T04:15:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。