論文の概要: SPARQL-LLM: Real-Time SPARQL Query Generation from Natural Language Questions
- arxiv url: http://arxiv.org/abs/2512.14277v1
- Date: Tue, 16 Dec 2025 10:39:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-17 16:49:26.687475
- Title: SPARQL-LLM: Real-Time SPARQL Query Generation from Natural Language Questions
- Title(参考訳): SPARQL-LLM: 自然言語質問からのリアルタイムSPARQLクエリ生成
- Authors: Panayiotis Smeros, Vincent Emonet, Ruijie Wang, Ana-Claudia Sima, Tarcisio Mendes de Farias,
- Abstract要約: SPARQL-LLMは、軽量メタデータを利用して、自然言語テキストからSPARQLクエリを生成する、オープンソースでトリプルストアに依存しないアプローチである。
SPARQL-LLMは、チャレンジに参加している他のシステムよりも最大36倍高速で、1問あたり最大0.01ドルのコストがかかることを示す。
- 参考スコア(独自算出の注目度): 1.3856736555085554
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The advent of large language models is contributing to the emergence of novel approaches that promise to better tackle the challenge of generating structured queries, such as SPARQL queries, from natural language. However, these new approaches mostly focus on response accuracy over a single source while ignoring other evaluation criteria, such as federated query capability over distributed data stores, as well as runtime and cost to generate SPARQL queries. Consequently, they are often not production-ready or easy to deploy over (potentially federated) knowledge graphs with good accuracy. To mitigate these issues, in this paper, we extend our previous work and describe and systematically evaluate SPARQL-LLM, an open-source and triplestore-agnostic approach, powered by lightweight metadata, that generates SPARQL queries from natural language text. First, we describe its architecture, which consists of dedicated components for metadata indexing, prompt building, and query generation and execution. Then, we evaluate it based on a state-of-the-art challenge with multilingual questions, and a collection of questions from three of the most prevalent knowledge graphs within the field of bioinformatics. Our results demonstrate a substantial increase of 24% in the F1 Score on the state-of-the-art challenge, adaptability to high-resource languages such as English and Spanish, as well as ability to form complex and federated bioinformatics queries. Furthermore, we show that SPARQL-LLM is up to 36x faster than other systems participating in the challenge, while costing a maximum of $0.01 per question, making it suitable for real-time, low-cost text-to-SPARQL applications. One such application deployed over real-world decentralized knowledge graphs can be found at https://www.expasy.org/chat.
- Abstract(参考訳): 大規模言語モデルの出現は、自然言語からSPARQLクエリのような構造化クエリを生成するという課題に、よりよい対処を約束する新しいアプローチの出現に寄与している。
しかしながら、これらの新しいアプローチは、主に単一のソースに対するレスポンスの正確性に重点を置いている一方で、分散データストア上でのフェデレーションクエリ機能、SPARQLクエリを生成するランタイムとコストなど、他の評価基準を無視している。
結果として、プロダクション対応や、(潜在的にフェデレーションされた)知識グラフを高い精度でデプロイすることが容易ではないことが多い。
これらの問題を緩和するため、本稿では、SPARQL-LLMについて、SPARQLクエリを自然言語テキストから生成する軽量メタデータをベースとした、オープンソースで3重ストアに依存しないSPARQL-LLMについて記述し、体系的に評価する。
まず、メタデータインデックス作成、プロンプト構築、クエリ生成および実行のための専用コンポーネントで構成されるアーキテクチャについて説明する。
次に,多言語質問を用いた最先端の課題と,バイオインフォマティクス分野における3つの最も一般的な知識グラフからの質問の収集に基づいて評価を行った。
その結果,F1スコアは現状の課題,英語やスペイン語などの高リソース言語への適応性,複雑なバイオインフォマティクスクエリを形成する能力において,24%の大幅な増加を示した。
さらに、SPARQL-LLMは、チャレンジに参加している他のシステムよりも最大36倍高速で、1問あたり最大0.01ドルで、リアルタイムで低コストのテキスト・トゥ・SPARQLアプリケーションに適していることを示す。
現実世界の分散知識グラフ上にデプロイされたそのようなアプリケーションは、https://www.expasy.org/chat.orgにある。
関連論文リスト
- ARUQULA -- An LLM based Text2SPARQL Approach using ReAct and Knowledge Graph Exploration Utilities [0.05863360388454259]
本稿では,自然言語質問をSPARQLクエリに変換するSPINACHに基づく手法を提案する。
この作業は、Text2SPARQLドメインの改善を促進するために実施された、Text2SPARQLチャレンジによって動機付けられた。
論文 参考訳(メタデータ) (2025-10-02T16:49:27Z) - Text-to-SPARQL Goes Beyond English: Multilingual Question Answering Over Knowledge Graphs through Human-Inspired Reasoning [51.203811759364925]
mKGQAgentは、自然言語の質問をSPARQLクエリに変換し、モジュール化された解釈可能なサブタスクに変換するタスクを分解する。
2025年のText2SPARQLチャレンジにおいて、DBpediaとCorporateベースのKGQAベンチマークに基づいて評価され、私たちのアプローチは、他の参加者の中で第一に行われました。
論文 参考訳(メタデータ) (2025-07-22T19:23:03Z) - SPARQL Query Generation with LLMs: Measuring the Impact of Training Data Memorization and Knowledge Injection [81.78173888579941]
大規模言語モデル(LLM)は、質問応答機能の品質を高めるのに適した方法と考えられている。
LLMはWebデータに基づいてトレーニングされており、ベンチマークや知識グラフがトレーニングデータに含まれているかどうかを研究者は制御できない。
本稿では,自然言語質問からSPARQLクエリを生成し,LLMの品質を評価する手法を提案する。
論文 参考訳(メタデータ) (2025-07-18T12:28:08Z) - The benefits of query-based KGQA systems for complex and temporal questions in LLM era [55.20230501807337]
大規模言語モデルは質問回答(QA)に優れていますが、マルチホップ推論や時間的質問には苦戦しています。
クエリベースの知識グラフ QA (KGQA) は、直接回答の代わりに実行可能なクエリを生成するモジュール形式の代替手段を提供する。
WikiData QAのためのマルチステージクエリベースのフレームワークについて検討し、課題のあるマルチホップと時間ベンチマークのパフォーマンスを向上させるマルチステージアプローチを提案する。
論文 参考訳(メタデータ) (2025-07-16T06:41:03Z) - NL2KQL: From Natural Language to Kusto Query [1.7931930942711818]
NL2KQLは、大規模言語モデル(LLM)を使用して自然言語クエリ(NLQ)をKusto Query Language(KQL)クエリに変換する革新的なフレームワークである。
NL2KQLのパフォーマンスを検証するために、オンライン(クエリ実行に基づく)とオフライン(クエリ解析に基づく)メトリクスの配列を使用します。
論文 参考訳(メタデータ) (2024-04-03T01:09:41Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - An In-Context Schema Understanding Method for Knowledge Base Question
Answering [70.87993081445127]
大きな言語モデル(LLM)は、言語理解において強力な能力を示しており、この課題を解決するために使用することができる。
既存のメソッドは、当初、スキーマ固有の詳細を使わずにLLMを使用してロジックフォームのドラフトを生成することで、この課題を回避している。
そこで本研究では,LLMが文脈内学習を利用してスキーマを直接理解できる簡易なインコンテキスト理解(ICSU)手法を提案する。
論文 参考訳(メタデータ) (2023-10-22T04:19:17Z) - Spider4SPARQL: A Complex Benchmark for Evaluating Knowledge Graph
Question Answering Systems [1.4732811715354452]
知識グラフ質問回答システムを評価するために、現実的なベンチマークを提供することがますます重要になっている。
Spider4SPARQLは、9,693の既存のNL質問と4,721のユニークな、新しい、複雑なSPARQLクエリを備えた、新しいSPARQLベンチマークデータセットである。
現状のKGQAシステムとLLMを用いてシステム評価を行い,実行精度は45%に過ぎなかった。
論文 参考訳(メタデータ) (2023-09-28T08:41:08Z) - Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。
このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。
本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-16T18:23:43Z) - AutoQGS: Auto-Prompt for Low-Resource Knowledge-based Question
Generation from SPARQL [18.019353543946913]
本研究では,知識に基づく質問生成(KBQG)の課題について検討する。
従来のKBQGは知識グラフのファクトトリプルから質問を生成するが、これはSPARQLの集約や比較のような複雑な操作を表現できない。
本研究では,SPARQLをNL記述に書き換えるために,大規模教師なしデータに基づいて訓練された自動プロンプタを提案する。
論文 参考訳(メタデータ) (2022-08-26T06:53:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。