論文の概要: Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

• arxiv url: http://arxiv.org/abs/2610.00224v1
• Date: Tue, 22 Sep 2026 13:19:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.578021
• Title: Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
• Title（参考訳）: Build2SPARQL - 知識グラフクエリを構築するための大規模テキストからSPARQLベンチマークデータセット
• Abstract要約: 本稿では,KGグラウンドパイプラインによって生成されたKGを大規模に構築するためのベンチマークであるBuild2SPARQLを提案する。 6,136のSPARQLクエリと30,680の質問が生成される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Building automation systems are increasingly represented as semantic knowledge graphs (KGs) using ontologies such as Brick and ASHRAE 223P, creating a machine-readable substrate for artificial-intelligence applications. One promising application is translating natural-language questions into SPARQL (text-to-SPARQL), which would let building operators query these graphs through language agents, but progress is limited by the scarcity of large natural-language/SPARQL benchmarks. This paper presents Build2SPARQL, a large-scale benchmark for building KGs generated by a KG-grounded pipeline: SPARQL queries are produced and validated entirely by graph-traversal code, while large language models generate only the natural-language questions, keeping query correctness independent of model behavior. The pipeline mines six query-pattern families -- linear chains, branching, UNION, aggregation, OPTIONAL, and attribute-filtered -- and phrases each query across five vocabulary registers. Applied to 201 building KGs (180 Brick, 21 ASHRAE 223P), it yields 6,136 executable SPARQL queries and 30,680 questions. A two-rater human validation of 300 questions found 98.8% semantic fidelity, 98.8% naturalness, and 84.0% operational plausibility. A retrieval-augmented evaluation across three open-weight language models raised exact-match accuracy from 0.2-20% (zero-shot) to 56-65% (three-shot retrieved).
• Abstract（参考訳）: 自動化システムの構築は、BrickやASHRAE 223Pのようなオントロジーを用いて意味知識グラフ(KG)として表現され、人工知能アプリケーションのための機械可読な基板を作成する。 ひとつの有望なアプリケーションは、自然言語質問をSPARQL(text-to-SPARQL)に変換することだ。 本稿では,KGパイプラインが生成するKGを大規模に構築するためのベンチマークであるBuild2SPARQLについて述べる。 パイプラインは、リニアチェーン、ブランチ、UNION、アグリゲーション、OPTIONAL、属性フィルタリングの6つのクエリパターンファミリと、5つの語彙レジスタにまたがる各クエリのフレーズをマイニングする。 201のKG(180 Brick, 21 ASHRAE 223P)に適用されると、6,136の実行可能なSPARQLクエリと30,680の質問が生成される。 300の質問に対する2レータの人間による検証では、98.8%のセマンティックな忠実さ、98.8%の自然さ、84.0%の運用可能性が確認された。 3つのオープンウェイト言語モデルに対する検索強化評価により、精度は0.2-20%(ゼロショット)から56-65%(3ショット検索)に向上した。

関連論文リスト

• SPARQL-LLM: Real-Time SPARQL Query Generation from Natural Language Questions [1.3856736555085554]
  SPARQL-LLMは、軽量メタデータを利用して、自然言語テキストからSPARQLクエリを生成する、オープンソースでトリプルストアに依存しないアプローチである。 SPARQL-LLMは、チャレンジに参加している他のシステムよりも最大36倍高速で、1問あたり最大0.01ドルのコストがかかることを示す。
  論文  参考訳（メタデータ） (2025-12-16T10:39:46Z)
• FIRESPARQL: A LLM-based Framework for SPARQL Query Generation over Scholarly Knowledge Graphs [0.5120567378386615]
  我々は、RAGとSPARQLクエリ修正層を介してオプションコンテキストで、微調整LDMをコアコンポーネントとしてサポートするモジュラーフレームワークを提案する。 BLEUとROUGEのメトリクスを用いてクエリ精度を測定し、緩和された正確なマッチング(RelaxedEM)を用いてクエリ結果の精度を測定する。 実験結果から,クエリの精度は0.90 ROUGE-L,テストセットの精度は0.85 RelaxedEMに達した。
  論文  参考訳（メタデータ） (2025-08-14T09:08:50Z)
• Text-to-SPARQL Goes Beyond English: Multilingual Question Answering Over Knowledge Graphs through Human-Inspired Reasoning [51.203811759364925]
  mKGQAgentは、自然言語の質問をSPARQLクエリに変換し、モジュール化された解釈可能なサブタスクに変換するタスクを分解する。 2025年のText2SPARQLチャレンジにおいて、DBpediaとCorporateベースのKGQAベンチマークに基づいて評価され、私たちのアプローチは、他の参加者の中で第一に行われました。
  論文  参考訳（メタデータ） (2025-07-22T19:23:03Z)
• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。 クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• An In-Context Schema Understanding Method for Knowledge Base Question Answering [70.87993081445127]
  大きな言語モデル(LLM)は、言語理解において強力な能力を示しており、この課題を解決するために使用することができる。 既存のメソッドは、当初、スキーマ固有の詳細を使わずにLLMを使用してロジックフォームのドラフトを生成することで、この課題を回避している。 そこで本研究では,LLMが文脈内学習を利用してスキーマを直接理解できる簡易なインコンテキスト理解(ICSU)手法を提案する。
  論文  参考訳（メタデータ） (2023-10-22T04:19:17Z)
• Spider4SPARQL: A Complex Benchmark for Evaluating Knowledge Graph Question Answering Systems [1.4732811715354452]
  知識グラフ質問回答システムを評価するために、現実的なベンチマークを提供することがますます重要になっている。 Spider4SPARQLは、9,693の既存のNL質問と4,721のユニークな、新しい、複雑なSPARQLクエリを備えた、新しいSPARQLベンチマークデータセットである。 現状のKGQAシステムとLLMを用いてシステム評価を行い,実行精度は45%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-09-28T08:41:08Z)
• AutoQGS: Auto-Prompt for Low-Resource Knowledge-based Question Generation from SPARQL [18.019353543946913]
  本研究では,知識に基づく質問生成(KBQG)の課題について検討する。 従来のKBQGは知識グラフのファクトトリプルから質問を生成するが、これはSPARQLの集約や比較のような複雑な操作を表現できない。 本研究では,SPARQLをNL記述に書き換えるために,大規模教師なしデータに基づいて訓練された自動プロンプタを提案する。
  論文  参考訳（メタデータ） (2022-08-26T06:53:46Z)
• Knowledge Base Question Answering by Case-based Reasoning over Subgraphs [81.22050011503933]
  本モデルでは,既存のKG補完アルゴリズムよりも複雑な推論パターンを必要とする問合せに対して,より効果的に答えることを示す。 提案モデルは、KBQAベンチマークの最先端モデルよりも優れているか、競合的に動作する。
  論文  参考訳（メタデータ） (2022-02-22T01:34:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。