論文の概要: FIRESPARQL: A LLM-based Framework for SPARQL Query Generation over Scholarly Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2508.10467v1
• Date: Thu, 14 Aug 2025 09:08:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.246146
• Title: FIRESPARQL: A LLM-based Framework for SPARQL Query Generation over Scholarly Knowledge Graphs
• Title（参考訳）: FIRESPARQL: 学術知識グラフを用いたSPARQLクエリ生成のためのLLMベースのフレームワーク
• Authors: Xueli Pan, Victor de Boer, Jacco van Ossenbruggen,
• Abstract要約: 我々は、RAGとSPARQLクエリ修正層を介してオプションコンテキストで、微調整LDMをコアコンポーネントとしてサポートするモジュラーフレームワークを提案する。 BLEUとROUGEのメトリクスを用いてクエリ精度を測定し、緩和された正確なマッチング(RelaxedEM)を用いてクエリ結果の精度を測定する。 実験結果から,クエリの精度は0.90 ROUGE-L,テストセットの精度は0.85 RelaxedEMに達した。
• 参考スコア（独自算出の注目度）: 0.5120567378386615
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Question answering over Scholarly Knowledge Graphs (SKGs) remains a challenging task due to the complexity of scholarly content and the intricate structure of these graphs. Large Language Model (LLM) approaches could be used to translate natural language questions (NLQs) into SPARQL queries; however, these LLM-based approaches struggle with SPARQL query generation due to limited exposure to SKG-specific content and the underlying schema. We identified two main types of errors in the LLM-generated SPARQL queries: (i) structural inconsistencies, such as missing or redundant triples in the queries, and (ii) semantic inaccuracies, where incorrect entities or properties are shown in the queries despite a correct query structure. To address these issues, we propose FIRESPARQL, a modular framework that supports fine-tuned LLMs as a core component, with optional context provided via retrieval-augmented generation (RAG) and a SPARQL query correction layer. We evaluate the framework on the SciQA Benchmark using various configurations (zero-shot, zero-shot with RAG, one-shot, fine-tuning, and fine-tuning with RAG) and compare the performance with baseline and state-of-the-art approaches. We measure query accuracy using BLEU and ROUGE metrics, and query result accuracy using relaxed exact match(RelaxedEM), with respect to the gold standards containing the NLQs, SPARQL queries, and the results of the queries. Experimental results demonstrate that fine-tuning achieves the highest overall performance, reaching 0.90 ROUGE-L for query accuracy and 0.85 RelaxedEM for result accuracy on the test set.
• Abstract（参考訳）: SKG(Scholarly Knowledge Graphs)に対する質問応答は、学術的内容の複雑さとこれらのグラフの複雑な構造のために、依然として難しい課題である。 大規模言語モデル(LLM)アプローチは、自然言語質問(NLQ)をSPARQLクエリに変換するのに使用できるが、これらのLLMベースのアプローチは、SKG固有のコンテンツと基礎となるスキーマに限定して、SPARQLクエリ生成に苦労する。 LLM生成したSPARQLクエリでは,2種類のエラーが検出された。 (i)クエリに欠落や冗長な三重項などの構造上の矛盾 i) 正しいクエリ構造にもかかわらず、誤ったエンティティやプロパティがクエリに表示されるセマンティック不正確さ。 これらの問題に対処するために、我々は、検索拡張生成(RAG)とSPARQLクエリ補正層を介してオプションコンテキストを提供する、微調整LDMをコアコンポーネントとしてサポートするモジュールフレームワークFIRESPARQLを提案する。 各種構成(RAGによるゼロショット,ゼロショット,ワンショット,ファインチューニング,RAGによるファインチューニング)を用いてSciQAベンチマークのフレームワークを評価し,その性能をベースラインと最先端のアプローチと比較した。 我々はBLEUとROUGEのメトリクスを用いてクエリの精度を測定し、NLQ、SPARQLクエリを含むゴールド標準とクエリの結果について、緩和された正確なマッチング(RelaxedEM)を用いてクエリ結果の精度を測定した。 実験結果から,クエリの精度は0.90 ROUGE-L,テストセットの精度は0.85 RelaxedEMに達した。

関連論文リスト

• The benefits of query-based KGQA systems for complex and temporal questions in LLM era [55.20230501807337]
  大規模言語モデルは質問回答(QA)に優れていますが、マルチホップ推論や時間的質問には苦戦しています。 クエリベースの知識グラフ QA (KGQA) は、直接回答の代わりに実行可能なクエリを生成するモジュール形式の代替手段を提供する。 WikiData QAのためのマルチステージクエリベースのフレームワークについて検討し、課題のあるマルチホップと時間ベンチマークのパフォーマンスを向上させるマルチステージアプローチを提案する。
  論文  参考訳（メタデータ） (2025-07-16T06:41:03Z)
• Unleashing the Power of LLMs in Dense Retrieval with Query Likelihood Modeling [69.84963245729826]
  大規模言語モデル(LLM)は魅力的な意味理解能力を示している。 デンス検索は情報検索(IR)において重要な課題であり、下流タスクを再びランク付けする基盤となっている。 我々は、差別的検索器のコントラスト学習のためのより良いバックボーンを得るために、QL推定の補助的タスクを導入する。
  論文  参考訳（メタデータ） (2025-04-07T16:03:59Z)
• Reducing Hallucinations in Language Model-based SPARQL Query Generation Using Post-Generation Memory Retrieval [9.860751439256754]
  大型言語モデル (LLM) は、KG要素の生成時に幻覚や分布外誤差に感受性がある。 この結果、このような誤りの検出と緩和を目的とした研究が増加している。 本稿では,非パラメトリックメモリモジュールを組み込んだ KG 要素検索用モジュール PGMR を紹介する。
  論文  参考訳（メタデータ） (2025-02-19T02:08:13Z)
• Effective Instruction Parsing Plugin for Complex Logical Query Answering on Knowledge Graphs [51.33342412699939]
  知識グラフクエリ埋め込み(KGQE)は、不完全なKGに対する複雑な推論のために、低次元KG空間に一階論理(FOL)クエリを埋め込むことを目的としている。 近年の研究では、FOLクエリの論理的セマンティクスをよりよく捉えるために、さまざまな外部情報(エンティティタイプや関係コンテキストなど)を統合している。 コードのようなクエリ命令から遅延クエリパターンをキャプチャする効果的なクエリ命令解析(QIPP)を提案する。
  論文  参考訳（メタデータ） (2024-10-27T03:18:52Z)
• Assessing SPARQL capabilities of Large Language Models [0.0]
  我々は、SPARQLで動作するLarge Language Modelsのアウトオブザボックス機能の測定に重点を置いています。 LLM-KG-Benchフレームワークにベンチマークタスクを実装し,自動実行と評価を行う。 この結果から,SPARQL SELECTクエリの処理はLLMでは依然として困難であることが示唆された。
  論文  参考訳（メタデータ） (2024-09-09T08:29:39Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• AutoQGS: Auto-Prompt for Low-Resource Knowledge-based Question Generation from SPARQL [18.019353543946913]
  本研究では,知識に基づく質問生成(KBQG)の課題について検討する。 従来のKBQGは知識グラフのファクトトリプルから質問を生成するが、これはSPARQLの集約や比較のような複雑な操作を表現できない。 本研究では,SPARQLをNL記述に書き換えるために,大規模教師なしデータに基づいて訓練された自動プロンプタを提案する。
  論文  参考訳（メタデータ） (2022-08-26T06:53:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。