論文の概要: STARQA: A Question Answering Dataset for Complex Analytical Reasoning over Structured Databases

• arxiv url: http://arxiv.org/abs/2509.19508v1
• Date: Tue, 23 Sep 2025 19:26:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.581106
• Title: STARQA: A Question Answering Dataset for Complex Analytical Reasoning over Structured Databases
• Title（参考訳）: STARQA:構造化データベース上の複雑な解析推論のための質問応答データセット
• Authors: Mounica Maddela, Lingjue Xie, Daniel Preotiuc-Pietro, Mausam,
• Abstract要約: SARQAは,3つの特殊リレーショナル・ドメイン・データベース上での複雑な解析的推論質問と回答の公開人為的データセットである。 本稿では,3つの特殊リレーショナル・ドメイン・データベース上での複雑な解析的推論質問と回答の公開人為的データセットであるSTARQAを紹介する。
• 参考スコア（独自算出の注目度）: 27.66819120859756
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Semantic parsing methods for converting text to SQL queries enable question answering over structured data and can greatly benefit analysts who routinely perform complex analytics on vast data stored in specialized relational databases. Although several benchmarks measure the abilities of text to SQL, the complexity of their questions is inherently limited by the level of expressiveness in query languages and none focus explicitly on questions involving complex analytical reasoning which require operations such as calculations over aggregate analytics, time series analysis or scenario understanding. In this paper, we introduce STARQA, the first public human-created dataset of complex analytical reasoning questions and answers on three specialized-domain databases. In addition to generating SQL directly using LLMs, we evaluate a novel approach (Text2SQLCode) that decomposes the task into a combination of SQL and Python: SQL is responsible for data fetching, and Python more naturally performs reasoning. Our results demonstrate that identifying and combining the abilities of SQL and Python is beneficial compared to using SQL alone, yet the dataset still remains quite challenging for the existing state-of-the-art LLMs.
• Abstract（参考訳）: テキストをSQLクエリに変換するセマンティック解析手法は、構造化されたデータに対する質問応答を可能にし、特殊なリレーショナルデータベースに格納された膨大なデータを複雑な分析を行うアナリストに多大な利益をもたらす。 いくつかのベンチマークはSQLに対するテキストの能力を測定するが、これらの質問の複雑さはクエリ言語の表現力のレベルによって本質的に制限されており、集約分析や時系列分析、シナリオ理解といった演算を必要とする複雑な分析的推論を含む質問に明示的に焦点を合わせていない。 本稿では,3つの専門ドメインデータベース上での複雑な解析的推論質問と回答の公開データセットSTARQAを紹介する。 LLMを使ってSQLを直接生成するのに加えて、タスクをSQLとPythonの組み合わせに分解する新しいアプローチ(Text2SQLCode)を評価します。 我々の結果は、SQLとPythonの能力を識別し、組み合わせることは、SQL単独で使うよりも有益であることを示しているが、既存の最先端のLCMでは、データセットは依然としてかなり困難である。

関連論文リスト

• Text to Query Plans for Question Answering on Large Tables [4.917892629916144]
  本稿では,自然言語クエリをクエリ計画に変換する新しいフレームワークを提案する。 主成分分析や異常検出などの複雑な解析機能を実現する。 我々は、標準データベースと大規模科学表の両方の実験を通じて、我々のフレームワークを検証する。
  論文  参考訳（メタデータ） (2025-08-26T07:35:26Z)
• Weaver: Interweaving SQL and LLM for Table Reasoning [62.55797244714265]
  Weaverは、構造化データ検索のためのsqlとセマンティック処理のためのLLMを組み合わせたフレキシブルなステップバイステッププランを生成する。 Weaverは、4つのTableQAデータセットで、最先端のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2025-05-25T03:27:37Z)
• LogicCat: A Chain-of-Thought Text-to-SQL Benchmark for Complex Reasoning [12.249447967086828]
  LogicCatは、複雑な推論とチェーン・オブ・ソート解析のために特別に設計された最初のText-to-senseベンチマークデータセットである。 LogicCatは現在の最先端モデルのタスク難易度を33.20%に向上させる。
  論文  参考訳（メタデータ） (2025-05-24T15:23:43Z)
• E-SQL: Direct Schema Linking via Question Enrichment in Text-to-SQL [1.187832944550453]
  E-Seekは、直接スキーマリンクと候補述語拡張を通じてこれらの課題に対処するように設計された、新しいパイプラインである。 E-Seekは、関連するデータベース項目(テーブル、列、値)と条件を直接質問とsql構築計画に組み込むことで、自然言語クエリを強化し、クエリとデータベース構造の間のギャップを埋める。 総合的な評価は、E-Seekが競争性能、特に66.29%の実行精度で複雑なクエリに優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-25T09:02:48Z)
• RoundTable: Leveraging Dynamic Schema and Contextual Autocomplete for Enhanced Query Precision in Tabular Question Answering [11.214912072391108]
  現実世界のデータセットは、大きな属性と複雑な値の配列を特徴とすることが多い。 従来の手法ではデータセットのサイズと複雑さをLarge Language Modelsに完全にリレーすることはできません。 入力テーブル上でFTS(Full-Text Search)を利用する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-22T13:13:06Z)
• Semantic Decomposition of Question and SQL for Text-to-SQL Parsing [2.684900573255764]
  本稿では,sqlクエリを単純かつ正規のサブクエリに体系的に分解するモジュール型クエリプラン言語(QPL)を提案する。 実験の結果,QPLは意味論的に等価なクエリに対して,テキスト対QPLよりも有効であることがわかった。
  論文  参考訳（メタデータ） (2023-10-20T15:13:34Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• Improving Text-to-SQL Semantic Parsing with Fine-grained Query Understanding [84.04706075621013]
  トークンレベルのきめ細かいクエリ理解に基づく汎用的モジュール型ニューラルネットワーク解析フレームワークを提案する。 我々のフレームワークは、名前付きエンティティ認識(NER)、ニューラルエンティティリンカ(NEL)、ニューラルエンティティリンカ(NSP)の3つのモジュールから構成されている。
  論文  参考訳（メタデータ） (2022-09-28T21:00:30Z)
• A Survey on Text-to-SQL Parsing: Concepts, Methods, and Future Directions [102.8606542189429]
  テキストからコーパスへのパースの目的は、自然言語(NL)質問をデータベースが提供するエビデンスに基づいて、対応する構造化クエリ言語()に変換することである。 ディープニューラルネットワークは、入力NL質問から出力クエリへのマッピング関数を自動的に学習するニューラルジェネレーションモデルによって、このタスクを大幅に進歩させた。
  論文  参考訳（メタデータ） (2022-08-29T14:24:13Z)
• Weakly Supervised Text-to-SQL Parsing through Question Decomposition [53.22128541030441]
  我々は最近提案されたQDMR(QDMR)という意味表現を活用している。 質問やQDMR構造(非専門家によって注釈付けされたり、自動予測されたりする)、回答が与えられたら、我々は自動的にsqlクエリを合成できる。 本結果は,NL-ベンチマークデータを用いて訓練したモデルと,弱い教師付きモデルが競合することを示す。
  論文  参考訳（メタデータ） (2021-12-12T20:02:42Z)
• Dual Reader-Parser on Hybrid Textual and Tabular Evidence for Open Domain Question Answering [78.9863753810787]
  世界の知識は構造化データベースに保存されている。 クエリ言語は、複雑な推論を必要とする質問に答えるだけでなく、完全な説明可能性を提供することができる。
  論文  参考訳（メタデータ） (2021-08-05T22:04:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。