論文の概要: Sigma: A dataset for text-to-code semantic parsing with statistical analysis

• arxiv url: http://arxiv.org/abs/2504.04301v1
• Date: Sat, 05 Apr 2025 23:30:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:13:19.982508
• Title: Sigma: A dataset for text-to-code semantic parsing with statistical analysis
• Title（参考訳）: Sigma:統計解析を用いたテキストからコードへの意味解析のためのデータセット
• Authors: Saleh Almohaimeed, Shenyang Liu, May Alsofyani, Saad Almohaimeed, Liqiang Wang,
• Abstract要約: SIGMAには6000の質問と対応するPythonコードラベルが含まれており、160のデータベースにまたがっている。 質問の半分はクエリタイプで、元のフォーマットで情報を返す。 データセットのPythonコードラベルは、4種類のクエリタイプと40種類の統計分析パターンをカバーしています。
• 参考スコア（独自算出の注目度）: 9.781031411221395
• License:
• Abstract: In the domain of semantic parsing, significant progress has been achieved in Text-to-SQL and question-answering tasks, both of which focus on extracting information from data sources in their native formats. However, the inherent constraints of their formal meaning representations, such as SQL programming language or basic logical forms, hinder their ability to analyze data from various perspectives, such as conducting statistical analyses. To address this limitation and inspire research in this field, we design SIGMA, a new dataset for Text-to-Code semantic parsing with statistical analysis. SIGMA comprises 6000 questions with corresponding Python code labels, spanning across 160 databases. Half of the questions involve query types, which return information in its original format, while the remaining 50% are statistical analysis questions, which perform statistical operations on the data. The Python code labels in our dataset cover 4 types of query types and 40 types of statistical analysis patterns. We evaluated the SIGMA dataset using three different baseline models: LGESQL, SmBoP, and SLSQL. The experimental results show that the LGESQL model with ELECTRA outperforms all other models, achieving 83.37% structure accuracy. In terms of execution accuracy, the SmBoP model, when combined with GraPPa and T5, reaches 76.38%.
• Abstract（参考訳）: セマンティック解析の分野では、テキストからSQLまでのタスクと質問応答タスクにおいて、どちらもネイティブフォーマットでデータソースから情報を抽出することに焦点を当てた大きな進歩が達成されている。 しかし、それらの形式的意味表現(SQL言語や基本的な論理形式など)の本質的な制約は、統計分析を行うなど、さまざまな観点からデータを分析する能力を妨げている。 この制限に対処し、この分野での研究を刺激するために、統計的解析を伴うテキスト・コード・セマンティック解析のための新しいデータセットであるSIGMAを設計する。 SIGMAには6000の質問と対応するPythonコードラベルが含まれており、160のデータベースにまたがっている。 質問の半数はクエリタイプで、元のフォーマットで情報を返すが、残りの50%は統計分析の質問で、データ上で統計処理を行う。 データセットのPythonコードラベルは、4種類のクエリタイプと40種類の統計分析パターンをカバーしています。 LGESQL, SmBoP, SLSQLの3種類のベースラインモデルを用いてSIGMAデータセットの評価を行った。 実験の結果、ELECTRAによるLGESQLモデルは、他のすべてのモデルより優れており、83.37%の構造精度が達成されている。 実行精度の面では、SmBoPモデルはGraPPaとT5と組み合わせると76.38%に達する。

関連論文リスト

• CoddLLM: Empowering Large Language Models for Data Analytics [38.23203246023766]
  大規模言語モデル(LLM)は、データ分析に革命をもたらす可能性がある。 我々は、Turbo後合成のための新しいデータレシピを公開した。 我々はMistralNeMo-12Bに基づく新しい基礎モデルであるCoddLLMをポストトレーニングする。
  論文  参考訳（メタデータ） (2025-02-01T06:03:55Z)
• Text2Insight: Transform natural language text into insights seamlessly using multi-model architecture [0.0]
  Text2Insightは、ユーザ定義の自然言語要求に基づいて、カスタマイズされたデータ分析と視覚化を提供する革新的なソリューションである。 解析能力を向上するため,BERTフレームワークを用いた質問応答モデルと予測モデルを統合した。 Text2Insightの性能評価は高い精度(99%)、精度(100%)、リコール(99%)、F1スコア(99%)、BLEUスコア0.5。
  論文  参考訳（メタデータ） (2024-12-27T16:17:22Z)
• RSL-SQL: Robust Schema Linking in Text-to-SQL Generation [51.00761167842468]
  本稿では、双方向スキーマリンク、コンテキスト情報拡張、バイナリ選択戦略、マルチターン自己補正を組み合わせたRSLと呼ばれる新しいフレームワークを提案する。 ベンチマークの結果,オープンソースのソリューション間でのSOTA実行精度は67.2%,BIRDは87.9%,GPT-4オクルージョンは87.9%であった。 提案手法は,DeepSeekを同一のプロンプトで適用した場合,GPT-4ベースのテキスト・ツー・シークシステムよりも優れている。
  論文  参考訳（メタデータ） (2024-10-31T16:22:26Z)
• KET-QA: A Dataset for Knowledge Enhanced Table Question Answering [63.56707527868466]
  本研究では,TableQAの外部知識源として知識ベース(KB)を用いることを提案する。 すべての質問は、答えるテーブルとサブグラフの両方からの情報を統合する必要がある。 我々は,膨大な知識サブグラフから関連する情報を抽出するために,レトリバー・レゾナー構造パイプラインモデルを設計する。
  論文  参考訳（メタデータ） (2024-05-13T18:26:32Z)
• Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data [89.2410799619405]
  実世界のデータを用いた統計的および因果推論において,大規模言語モデルの能力を評価するために,データベンチマークを用いた定量的推論を導入する。 このベンチマークは、教科書、オンライン学習教材、学術論文のデータシートを伴う411の質問のデータセットで構成されている。 データとテキストに対するモデルの量的推論能力を比較するために、ベンチマークを290のテキストのみの質問、すなわちQRTextで強化する。
  論文  参考訳（メタデータ） (2024-02-27T16:15:03Z)
• Text2Analysis: A Benchmark of Table Question Answering with Advanced Data Analysis and Unclear Queries [67.0083902913112]
  高度な解析タスクを取り入れたText2Analysisベンチマークを開発した。 また,5つのイノベーティブかつ効果的なアノテーション手法を開発した。 3つの異なる指標を用いて5つの最先端モデルを評価する。
  論文  参考訳（メタデータ） (2023-12-21T08:50:41Z)
• #InsTag: Instruction Tagging for Analyzing Supervised Fine-tuning of Large Language Models [83.80695137230134]
  本研究では,SFTデータセット内のサンプルを意味と意図に基づいてタグ付けする,オープンセットのきめ細かいタグタグであるInsTagを提案する。 我々は、人気のあるオープンソースSFTデータセットを分析し、モデル能力がより多種多様な複雑なデータで成長することを発見した。 結果として得られたモデルであるTagLMは、MT-Benchによって評価されたかなり大きなSFTデータに基づいて、オープンソースモデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T11:16:28Z)
• AutoQA: From Databases To QA Semantic Parsers With Only Synthetic Training Data [6.522647000820583]
  AutoQAは、手作業なしでデータベース上の質問に答えるセマンティクスを生成する。 自動言い換えとテンプレートベースの属性解析を組み合わせて、式の代替表現を見つける。 解答精度は69.8%で、最先端のゼロショットモデルよりも16.4%高く、人間のデータで訓練されたモデルよりもわずか5.2%低い。
  論文  参考訳（メタデータ） (2020-10-09T21:06:57Z)
• TableQA: a Large-Scale Chinese Text-to-SQL Dataset for Table-Aware SQL Generation [3.4161707164978137]
  既存のNL2データセットは、条件値が自然言語の質問に正確に現れるべきであり、クエリはテーブルから答えられると仮定する。 6,000のテーブル上で64,891の質問と20,311のユニークなsqlクエリからなる中国語の大規模クロスドメイン自然言語データセットであるTableQAを提案する。 問題を軽減するために2つのテーブル認識アプローチを提案し、エンドツーエンドアプローチでは条件値と論理形式タスクにおいて51.3%と47.4%の精度が得られ、それぞれ4.7%と3.4%が改善された。
  論文  参考訳（メタデータ） (2020-06-10T03:49:08Z)
• Multi-layer Optimizations for End-to-End Data Analytics [71.05611866288196]
  代替アプローチを実現するフレームワークであるIFAQ(Iterative Functional Aggregate Queries)を紹介する。 IFAQは、特徴抽出クエリと学習タスクを、IFAQのドメイン固有言語で与えられた1つのプログラムとして扱う。 IFAQ の Scala 実装が mlpack,Scikit,特殊化を数桁で上回り,線形回帰木モデルや回帰木モデルを複数の関係データセット上で処理可能であることを示す。
  論文  参考訳（メタデータ） (2020-01-10T16:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。