論文の概要: TQTS-Bench: A Multi-Syntax Benchmark for Text-to-Query over Time-Series Databases

• arxiv url: http://arxiv.org/abs/2609.34783v1
• Date: Mon, 28 Sep 2026 09:55:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 02:54:55.056142
• Title: TQTS-Bench: A Multi-Syntax Benchmark for Text-to-Query over Time-Series Databases
• Title（参考訳）: TQTS-Bench:時系列データベース上でのテキストクエリのためのマルチシンタクスベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は、リレーショナルデータベース(TSDB)よりもはるかに高度な自然言語クエリを持つ 既存のベンチマークでは、統一されていないクエリ構文、多様なアプリケーションドメイン、TSDB固有の時間固有のクエリインテントを適切にキャプチャできない。 TQTS-BENCHは、TSDB上でのテキスト・ツー・クエリ機能評価のためのマルチシンタクス・ベンチマークである。
• 参考スコア（独自算出の注目度）: 42.22417764479563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have significantly advanced natural language querying over relational databases, yet their ability to query time-series databases (TSDBs) remains largely unassessed. Existing benchmarks fail to adequately capture the non-unified query syntaxes, diverse application domains, and unique time-specific query intents inherent to TSDBs. To address this gap, we introduce TQTS-BENCH, a multi-syntax benchmark for evaluating text-to-query capabilities over TSDBs. TQTS-BENCH contains 6,125 high-quality question-answering (QA) pairs spanning 97 TSDBs, 23 distinct query syntaxes, 22 application domains, and 4 types of time-specific query intents. It is constructed through a human-centric AI-assisted workflow, where all QA pairs are carefully reviewed and revised by domain experts to ensure quality and correctness. Extensive evaluations of advanced LLMs and state-of-the-art text-to-query methods reveal challenges in querying TSDBs. Even the best-performing model evaluated, Claude-Opus-5, achieves only 48.98% execution accuracy, while humans reach 87.34%. Error analysis reveals that this performance gap mainly stems from the heterogeneous query syntaxes across different TSDBs, misinterpretation of time-specific intents, and incorrect schema linking. These findings highlight new opportunities to narrow the gap between current LLM capabilities and the requirements of TSDB queries in real-world applications. The benchmark is available at: https://anonymous.4open.science/r/TQTS-Bench-00CD.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、リレーショナルデータベースよりもかなり高度な自然言語クエリを持つが、時系列データベース(TSDB)をクエリする能力は、ほとんど評価されていない。 既存のベンチマークでは、統一されていないクエリ構文、多様なアプリケーションドメイン、TSDB固有の時間固有のクエリインテントを適切にキャプチャできない。 このギャップに対処するために、TSDB上でのテキスト・ツー・クエリ機能を評価するマルチシンタクス・ベンチマークであるTQTS-BENCHを導入する。 TQTS-BENCHには、97のTSDBにまたがる6,125の高品質なQAペア、23の異なるクエリ構文、22のアプリケーションドメイン、および4種類の時間固有のクエリインテントが含まれている。 品質と正確性を保証するために、すべてのQAペアを慎重にレビューし、ドメインの専門家によって修正する、人間中心のAI支援ワークフローを通じて構築される。 高度なLCMと最先端のテキスト・ツー・クエリ手法の広範な評価は、TSDBをクエリする際の課題を浮き彫りにする。 最も優れたモデルであるClaude-Opus-5でさえ48.98%の精度しか達成していないが、人間は87.34%に達する。 エラー解析により、このパフォーマンスギャップは、主に異なるTSDB間の不均一なクエリ構文、時間固有のインテントの誤解釈、誤ったスキーマリンクに起因することが明らかになった。 これらの知見は、現実のアプリケーションにおける現在のLLM機能とTSDBクエリの要件とのギャップを狭める新たな機会を浮き彫りにしている。 ベンチマークはhttps://anonymous.4open.science/r/TQTS-Bench-00CDで公開されている。

関連論文リスト

• Spider 2.0-AIFunc: Extending Real-World Text-to-SQL to AI-Native SQL Workflows [54.49251107006261]
  我々はSpider 2.0-AIFuncを紹介した。これは、Snowflakeプラットフォーム上の6種類のAI機能をカバーする125の現実世界データベースにわたる465の検証済みインスタンスのベンチマークである。 最強のプロプライエタリモデルは67-70%の精度で実行でき、最高のオープンソースモデルは58.1%に達する。
  論文  参考訳（メタデータ） (2026-07-07T12:54:08Z)
• SWE-QA: A Dataset and Benchmark for Complex Code Understanding [4.049272375488184]
  マルチホップコード理解のベンチマークを目的としたテキストとコードコーパスであるSWE-QAを紹介する。 データセットは、SWE-benchの12のPythonリポジトリから体系的に生成された9,072の多重選択質問からなる。 デンスアーキテクチャは、エキスパートの混合モデルよりも10～14ポイント優れており、推論の強化されたバリエーションは一貫性のない利点を示している。
  論文  参考訳（メタデータ） (2026-04-27T12:56:19Z)
• SPARTA: Scalable and Principled Benchmark of Tree-Structured Multi-hop QA over Text and Tables [13.249024309069236]
  テーブルテキスト質問応答タスクは、長いテキストとソーステーブルをまたいで推論し、複数のホップをトラバースし、集約のような複雑な操作を実行するモデルを必要とする。 本稿では,大規模テーブルテキストQAベンチマークを自動的に生成し,軽量な人体検証を行うエンドツーエンド構築フレームワークであるSPARTAを提案する。 SPARTAでは、HybridQAで70F1以上、OTT-QAで50F1以上に達する最先端モデルが30F1ポイント以上減少する。
  論文  参考訳（メタデータ） (2026-02-26T17:59:51Z)
• Harnessing Temporal Databases for Systematic Evaluation of Factual Time-Sensitive Question-Answering in Large Language Models [38.12930048471948]
  TDBenchは、タイムセンシティブな質問-回答ペアを体系的に構築する新しいベンチマークである。 時間精度と呼ばれるきめ細かい評価基準は、モデル説明における時間参照の有効性を評価する。 現代のLarge Language Modelsの実験では、スケーラブルで包括的なTSQA評価を実現する方法が示されています。
  論文  参考訳（メタデータ） (2025-08-04T04:27:06Z)
• The benefits of query-based KGQA systems for complex and temporal questions in LLM era [55.20230501807337]
  大規模言語モデルは質問回答(QA)に優れていますが、マルチホップ推論や時間的質問には苦戦しています。 クエリベースの知識グラフ QA (KGQA) は、直接回答の代わりに実行可能なクエリを生成するモジュール形式の代替手段を提供する。 WikiData QAのためのマルチステージクエリベースのフレームワークについて検討し、課題のあるマルチホップと時間ベンチマークのパフォーマンスを向上させるマルチステージアプローチを提案する。
  論文  参考訳（メタデータ） (2025-07-16T06:41:03Z)
• Evaluating List Construction and Temporal Understanding capabilities of Large Language Models [54.39278049092508]
  大規模言語モデル(LLM)は、特に時間的理解タスクにおける幻覚や誤りの影響を受けやすい。 本稿では,時系列に適合するリスト形式で構造化された回答を必要とするTLQA(Time Referenceed List based Question Answering)ベンチマークを提案する。 閉書およびオープンドメイン設定におけるTLQA上の最先端生成モデルの時間的理解とリスト構築能力について検討する。
  論文  参考訳（メタデータ） (2025-06-26T21:40:58Z)
• RAISE: Reasoning Agent for Interactive SQL Exploration [47.77323087050061]
  本稿では,スキーマリンク,クエリ生成,反復的改善を1つのエンドツーエンドコンポーネントに統一する新しいフレームワークを提案する。 本手法は、不慣れなデータベースを扱う際に、人間がどう答えるかをエミュレートする。
  論文  参考訳（メタデータ） (2025-06-02T03:07:08Z)
• MCS-SQL: Leveraging Multiple Prompts and Multiple-Choice Selection For Text-to-SQL Generation [10.726734105960924]
  大規模言語モデル(LLM)は、テキストからタスクへの微調整アプローチを大幅に上回る、ICL(In-context Learning)ベースの手法を実現している。 本研究は,LLMのプロンプトに対する感受性を考察し,複数のプロンプトを活用してより広い探索空間を探索する手法を提案する。 生成したクエリの精度と効率の両面から,BIRD上に新たなSOTA性能を確立する。
  論文  参考訳（メタデータ） (2024-05-13T04:59:32Z)
• Bridging Textual and Tabular Data for Cross-Domain Text-to-SQL Semantic Parsing [110.97778888305506]
  BRIDGEは、フィールドのサブセットが質問に言及されたセル値で拡張されるタグ付きシーケンスの質問とDBスキーマを表します。 BRIDGEは、人気のクロスDBテキスト-リレーショナルベンチマークで最先端のパフォーマンスを達成しました。 本分析は,BRIDGEが望まれる相互依存を効果的に捕捉し,さらにテキストDB関連タスクに一般化する可能性を示唆している。
  論文  参考訳（メタデータ） (2020-12-23T12:33:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。