論文の概要: EntSQL: A Benchmark for Grounding Text-to-SQL in Long-Context Enterprise Knowledge

• arxiv url: http://arxiv.org/abs/2606.03363v1
• Date: Tue, 02 Jun 2026 09:12:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.895024
• Title: EntSQL: A Benchmark for Grounding Text-to-SQL in Long-Context Enterprise Knowledge
• Title（参考訳）: EntSQL: 長期的エンタープライズ知識のテキストからSQLへの基盤化のためのベンチマーク
• Abstract要約: Spider、BIRD、Spider2.0といった既存のベンチマークでは、スキーマの一般化、大規模データベース、現実性を評価している。 エンタープライズ指向のテキスト・ツー・プライベート・ベンチマークであるEntを紹介した。 英語の入力では、最も優れた評価システムは、長文の文書が提供されるときの15.9%にしか達しない。
• 参考スコア（独自算出の注目度）: 20.59995531311023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-SQL enables natural language access to databases, and recent LLMs have substantially advanced its capabilities. Existing benchmarks such as Spider, BIRD, and Spider~2.0 evaluate schema generalization, large-scale databases, and realistic workflows, but largely overlook enterprise scenarios where SQL generation depends on private business knowledge, such as internal metrics, reporting conventions, and organizational rules. We introduce EntSQL, an enterprise-oriented Text-to-SQL benchmark for evaluating long-context grounding over proprietary business documents. EntSQL contains 1,066 aligned Chinese-English semantic examples across five business domains, with most examples requiring domain knowledge beyond the question and schema and involving complex SQL structures. On English inputs, the best evaluated system reaches only 15.9\% when long-form documents are provided, highlighting the difficulty of grounding SQL generation in enterprise knowledge.
• Abstract（参考訳）: Text-to-SQLはデータベースへの自然言語アクセスを可能にする。 既存のベンチマークであるSpider、BIRD、Spider~2.0はスキーマの一般化、大規模データベース、現実的なワークフローを評価しているが、SQL生成が内部メトリクス、レポート規約、組織ルールなどのプライベートなビジネス知識に依存する企業シナリオは概ね見落としている。 エンタープライズ指向のText-to-SQLベンチマークであるEntSQLを紹介した。 EntSQLには5つのビジネスドメインにわたる1066の中国語と英語のセマンティックな例が含まれている。 英語の入力では、長文の文書が提供される場合、最高の評価システムは15.9\%にしか達せず、企業知識におけるSQL生成の難しさを浮き彫りにしている。

関連論文リスト

• BIRD-History: A Benchmark for History-Driven Text-to-SQL with Fine-Grained Knowledge Annotations [28.456885492014475]
  BIRD-Historyは、テキストからソースまでのシステムで、未特定の自然言語の問題を解き放つ能力を評価するためのベンチマークである。 本稿では,過去のSQLスクリプトから5種類の外部知識を抽出し,関連するフラグメントを検索して参照するプラグイン検索手法を提案する。 実験では、4つのテキスト・ソースシステム間で一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-08-29T15:59:56Z)
• ProSPy: A Profiling-Driven SQL-Python Agentic Framework for Enterprise Text-to-SQL [51.98164069124653]
  ProSPyは、エンタープライズスケールのテキスト-非依存分析のためのプロファイリング駆動フレームワークである。 ProSPyは推論プロセスを4段階に構成する。 まず、自動プロファイリングにより、きめ細かいデータ証拠を抽出する。 大規模なスキーマをタスク関連コンテキストに抽出する。
  論文  参考訳（メタデータ） (2026-06-04T08:13:05Z)
• SING-SQL: A Synthetic Data Generation Framework for In-Domain Text-to-SQL Translation [2.0799061948689306]
  SING-aは、高品質で高カバレッジな合成テキストデータを生成するための、完全に自動化された2段階のフレームワークである。 SING-LMは、合成データに基づいて微調整されたコンパクト言語モデルのファミリーである。
  論文  参考訳（メタデータ） (2025-09-30T02:14:49Z)
• Datrics Text2SQL: A Framework for Natural Language to SQL Query Generation [0.0]
  本稿では,構造化ドキュメンテーション,サンプルベース学習,ドメイン固有のルールを活用することで,正確なsqlクエリを生成するためのRAG(Retrieval-Augmented Generation)ベースのフレームワークを提案する。 アーキテクチャ、トレーニング方法論、検索ロジックについて詳述し、システムがどのようにユーザ意図とデータベース構造の間のギャップを、専門知識を必要とせずに埋めるかを強調した。
  論文  参考訳（メタデータ） (2025-04-03T21:09:59Z)
• Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows [64.94146689665628]
  Spider 2.0は、エンタープライズレベルのデータベースのユースケースから派生した、現実のテキストからsqlの問題に対する評価フレームワークである。 Spider 2.0のデータベースは、実際のデータアプリケーションからソースされ、1,000以上の列を含み、BigQueryやSnowflakeなどのローカルまたはクラウドデータベースシステムに格納されることが多い。 Spider 2.0の問題解決には、データベースメタデータ、方言文書、さらにはプロジェクトレベルの理解と検索が頻繁に必要であることを示す。
  論文  参考訳（メタデータ） (2024-11-12T12:52:17Z)
• SQLfuse: Enhancing Text-to-SQL Performance through Comprehensive LLM Synergy [24.919119901664843]
  本稿では,オープンソースのLarge Language Models(LLM)を,クエリの精度とユーザビリティを高めるための一連のツールに統合する,堅牢なシステムを提案する。 Ant GroupによるSpider Leaderboardとデプロイメントのリードパフォーマンスによって実証された。
  論文  参考訳（メタデータ） (2024-07-19T06:01:57Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
  テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。 公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。 広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
  論文  参考訳（メタデータ） (2023-05-25T17:19:52Z)
• Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQLs [89.68522473384522]
  テキストから効率のよいタスクをベースとした大規模データベースのための大規模なベンチマークであるBirdを紹介します。 データベースの値に重点を置いていると、汚いデータベースコンテンツに対する新たな課題が浮き彫りになる。 最も効果的なテキストから効率のよいモデルであるChatGPTでさえ、実行精度はわずか40.08%である。
  論文  参考訳（メタデータ） (2023-05-04T19:02:29Z)
• Towards Generalizable and Robust Text-to-SQL Parsing [77.18724939989647]
  本稿では,タスク分解,知識獲得,知識構成からなる新しいTKKフレームワークを提案する。 このフレームワークは,Spider,SParC,Co.データセット上でのすべてのシナリオと最先端のパフォーマンスに有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-23T09:21:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。