論文の概要: ESQ-Bench: A Multi-Tier Enterprise Oracle Benchmark for Evaluating NL2SQL Dialect Generalization and Silent Semantic Divergence

• arxiv url: http://arxiv.org/abs/2608.23569v1
• Date: Fri, 12 Jun 2026 03:07:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.325988
• Title: ESQ-Bench: A Multi-Tier Enterprise Oracle Benchmark for Evaluating NL2SQL Dialect Generalization and Silent Semantic Divergence
• Title（参考訳）: ESQ-Bench: NL2SQLダイアレクトの一般化と無意味なセマンティック多様性を評価するためのマルチティアエンタープライズOracleベンチマーク
• Abstract要約: ESQ-BenchはOracle初のNL2ベンチマークであり、体系的な複雑性レベルとサイレントディバイジェンス評価がある。 465のテーブル、164,682の行、Oracleの同じシードデータを持つ空のテーブルゼロ、89,227の6つの階層を構築し、リリースしました。 4度評価ハーネス(EM、EX、SR、SD) スキーマリンクプロンプトを備えた Claude Sonnet 4.6 が 87.4, 74.9, EX (実行クエリ) 68.7% に達した。 ローカルなLlama 3.2スキーマリンクは、銀行全体のEX(550中73)の13.3%にしか達しない
• 参考スコア（独自算出の注目度）: 0.19116784879310023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art Natural Language to SQL (NL2SQL) models report execution accuracy exceeding 89 percent on established benchmarks such as Spider and BIRD. However, these benchmarks rely on simplified academic schemas and open-source SQL dialects that do not reflect the complexity of enterprise database environments. We introduce ESQ-Bench, an Oracle-first NL2SQL benchmark with systematic complexity tiers and silent-divergence evaluation across three enterprise schema complexity tiers. We constructed and released six populated schemas (465 tables, 164,682 rows, zero empty tables) with identical seed data on Oracle, PostgreSQL, MySQL, and SQL Server, a four-metric evaluation harness (EM, EX, SR, SD), and 550 gold-validated question-query pairs (Tier-1: 95; Tier-2: 228; Tier-3: 227). Schema-linked prompting with GPT-4o shows monotonic execution-match degradation across tiers: 79.8, 60.3, and 57.2 percent EX on executed queries (June 2026), versus 75.6, 80.4, and 95.8 percent on an earlier 142-question pilot slice. EM stays below 7 percent tier-wide; operational silent-divergence reaches 73 to 99 percent among EX-passing queries. Failure analysis shows wrong-result semantics dominate at higher tiers. Claude Sonnet 4.6 with schema-linked prompts reaches 87.4, 74.9, and 68.7 percent EX (executed queries), exceeding GPT-4o schema-linked on every tier. GPT-4o zero-shot EX on executed queries (78.7, 73.5, and 77.8 percent) inverts schema-linked at Tiers 2 to 3 due to lower execution rates and survivor bias in the zero-shot versus schema-linked analysis. Local Llama 3.2 schema-linked reaches only 13.3 percent bank-wide EX (73 out of 550), underscoring the gap between closed API models and open-weight baselines on enterprise Oracle schemas.
• Abstract（参考訳）: State-of-the-art Natural Language to SQL (NL2SQL)モデルは、SpiderやBIRDといった既存のベンチマークで実行精度が99%を超えることを報告している。 しかし、これらのベンチマークは、エンタープライズデータベース環境の複雑さを反映しない、シンプルな学術スキーマとオープンソースのSQL方言に依存している。 ESQ-Benchは、Oracleが最初に開発したNL2SQLベンチマークで、システマティックな複雑性層と3つのエンタープライズスキーマの複雑性層にまたがるサイレントな偏差評価を提供する。 我々は,Oracle,PostgreSQL,MySQL,SQL Server上の同一のシードデータ,EM,EX,SR,SD)と550個のゴールドバリデーション質問クエリペア(Tier-1:95; Tier-2:228; Tier-3:227; Tier-3:227; Tier-3:227; Tier-1:95; Tier-2:228; Tier-3:227; Tier-3:227; Tier-2:228; Tier-2:228; Tier-3:228; Tier-3:228; Tier-3:228; Tier-3:2,550)を用いて,6つの集約型スキーマを構築し,リリースした。 GPT-4oによるスキーマリンクプロンプトは、実行クエリ(2026年6月)の79.8、60.3、57.2%のExに対して、初期の142クエリのパイロットスライスでは75.6、80.4、95.8%の単調な実行マッチの低下を示す。 EMは7%以下であり、Ex-passingクエリのうち、オペレーショナルサイレント分割は7～99%に達する。 フェール分析は、より高い階層において、誤った結果のセマンティクスが支配的であることを示している。 スキーマリンクされたプロンプトを持つクロードSonnet 4.6は87.4、74.9、68.7%のEX(実行クエリ)に達し、すべての層でGPT-4oスキーマリンクされる。 GPT-4o ゼロショット EX on execution query (78.7, 73.5, 77.8%) は、ゼロショット対スキーマリンク分析における実行率の低下とサバイバルバイアスにより、タイアーズ2から3へのスキーマリンクを反転させる。 ローカルなLlama 3.2スキーマリンクは、銀行全体のEX(550中73)の13.3%にしか達せず、クローズドAPIモデルとエンタープライズOracleスキーマのオープンウェイトベースラインとのギャップを浮き彫りにしている。

関連論文リスト

• An Iterative LangGraph Agent for Text-to-SQL: Natural Language Access to the Chicago Crime Database [0.0]
  非技術ステークホルダは、運用データベースから洞察を抽出するために必要なthesqlを書くことができないことが多い。 このギャップを埋めるText-to-checkerエージェントを構築し,評価した。 エージェントはプロンプトエンジニアリングのみを使用し、モデルは微調整されなかった。
  論文  参考訳（メタデータ） (2026-09-19T09:54:16Z)
• ModularSQL: A Runtime Guardrail for the Multiplicity Blind Spot in Text-to-SQL [4.583541422554719]
  テキスト保存システムは、ますます本番データベースにデプロイされ、ベンチマーク評価に合格するクエリは、下流で歪む結果を生み出す可能性がある。 標準セットベースの実行精度(Set-EX)は重複行を崩壊させるため、多重度エラーを見逃す可能性がある。 これをMBS(Multiplicity Blind Spot)と呼び、多重性障害を露呈するMultiset-EXを導入する。
  論文  参考訳（メタデータ） (2026-08-26T20:59:32Z)
• Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs [104.11820606942855]
  Video-ORA-9Bは4,780ミリ秒ではなく130ミリ秒でデコードされる。 OraRLはモデルのサイズとデータでスケールし、バックボーンを0.8Bから9B、GRPOを最大100kのプロンプトに超える。
  論文  参考訳（メタデータ） (2026-08-20T18:28:19Z)
• From Diagnosis to Correction: Benchmarking and Improving Real-World Table Parsing [50.70862449978062]
  最近の文書では OmniDocBench v1.6 の 93 以上の TEDS スコアが達成されている。 このギャップを定量化するために、916の現実世界のテーブルの診断ベンチマークであるTableParseMapを紹介します。
  論文  参考訳（メタデータ） (2026-08-10T16:59:30Z)
• DRL: A Deterministic Relational Middleware Layer for Transaction-Safe Enterprise NL2SQL Under Schema-Graph Scaling [0.19116784879310023]
  エンタープライズOに自然言語インターフェースをデプロイするのはスケールに失敗する。 本稿では,フロントエンドバックエンド間の安全なパイプラインであるDRLを紹介する。 DRLオノップ,1000のスケーリングモデル,およびエンタープライズスキーマにリンクしたNL2分類について検討した。 GPT-4o, Claude Sonnet 4.5, Gemini 2.5 Flash は52.9%, 54.5%, 52.1% 実行一致を達成した。
  論文  参考訳（メタデータ） (2026-07-23T18:01:11Z)
• Spider 2.0-AIFunc: Extending Real-World Text-to-SQL to AI-Native SQL Workflows [54.49251107006261]
  我々はSpider 2.0-AIFuncを紹介した。これは、Snowflakeプラットフォーム上の6種類のAI機能をカバーする125の現実世界データベースにわたる465の検証済みインスタンスのベンチマークである。 最強のプロプライエタリモデルは67-70%の精度で実行でき、最高のオープンソースモデルは58.1%に達する。
  論文  参考訳（メタデータ） (2026-07-07T12:54:08Z)
• SING-SQL: A Synthetic Data Generation Framework for In-Domain Text-to-SQL Translation [2.0799061948689306]
  SING-aは、高品質で高カバレッジな合成テキストデータを生成するための、完全に自動化された2段階のフレームワークである。 SING-LMは、合成データに基づいて微調整されたコンパクト言語モデルのファミリーである。
  論文  参考訳（メタデータ） (2025-09-30T02:14:49Z)
• Evaluating NL2SQL via SQL2NL [45.88028371034407]
  新しいフレームワークは意味論的に等価で語彙的に多様なクエリを生成する。 最先端のモデルは、標準ベンチマークが示すよりもはるかに脆弱だ。
  論文  参考訳（メタデータ） (2025-09-04T21:03:59Z)
• ExCoT: Optimizing Reasoning for Text-to-SQL with Execution Feedback [49.21833666405111]
  大規模言語モデル(LLM)は、多くの推論タスクにおいて優れているが、Chain-of-Thought(CoT)推論を活用する能力はいまだに未定である。 我々は,オープンソース LLM を反復的に最適化する新しいフレームワークである ExCoT を提案する。
  論文  参考訳（メタデータ） (2025-03-25T18:17:36Z)
• RSL-SQL: Robust Schema Linking in Text-to-SQL Generation [51.00761167842468]
  本稿では、双方向スキーマリンク、コンテキスト情報拡張、バイナリ選択戦略、マルチターン自己補正を組み合わせたRSLと呼ばれる新しいフレームワークを提案する。 ベンチマークの結果,オープンソースのソリューション間でのSOTA実行精度は67.2%,BIRDは87.9%,GPT-4オクルージョンは87.9%であった。 提案手法は,DeepSeekを同一のプロンプトで適用した場合,GPT-4ベースのテキスト・ツー・シークシステムよりも優れている。
  論文  参考訳（メタデータ） (2024-10-31T16:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。