論文の概要: BIRD-History: A Benchmark for History-Driven Text-to-SQL with Fine-Grained Knowledge Annotations
- arxiv url: http://arxiv.org/abs/2608.29345v1
- Date: Sat, 29 Aug 2026 15:59:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.937989
- Title: BIRD-History: A Benchmark for History-Driven Text-to-SQL with Fine-Grained Knowledge Annotations
- Title（参考訳）: BIRD-History: 微粒な知識アノテーションによる履歴駆動型SQLのベンチマーク
- Abstract要約: BIRD-Historyは、テキストからソースまでのシステムで、未特定の自然言語の問題を解き放つ能力を評価するためのベンチマークである。
本稿では,過去のSQLスクリプトから5種類の外部知識を抽出し,関連するフラグメントを検索して参照するプラグイン検索手法を提案する。
実験では、4つのテキスト・ソースシステム間で一貫した改善が示されている。
- 参考スコア（独自算出の注目度）: 28.456885492014475
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While recent Large Language Model (LLM)-based text-to-SQL systems achieve impressive performance on standard benchmarks, they struggle when user queries implicitly rely on domain-specific knowledge, such as business logic, data conventions, and analytical practices, that is neither captured by the schema nor explicitly stated in the natural language question. Historical SQL query logs offer a valuable source of such knowledge, yet existing benchmarks do not adequately support evaluation of history-driven approaches. To address this gap, we introduce BIRD-History, a benchmark consisting of 1,393 tasks across 11 databases, designed to evaluate text-to-SQL systems' ability to ground underspecified natural language questions using historical SQL scripts. Each task is annotated with ground-truth labels specifying which historical queries contain relevant knowledge and which SQL clauses encode it, enabling systematic evaluation of both retrieval effectiveness and knowledge utilization. Alongside the benchmark, we propose a plug-in retriever that extracts five types of external knowledge from historical SQL scripts, then retrieves and reranks relevant fragments for query generation. The retriever integrates seamlessly into existing few-shot text-to-SQL pipelines without requiring prompt modifications. Experiments demonstrate consistent improvements across four text-to-SQL systems, highlighting the value of leveraging historical query logs for handling underspecified queries. Dataset and code are open-sourced on https://github.com/zjuidg/BIRD-History.
- Abstract（参考訳）: 近年のLarge Language Model(LLM)ベースのテキスト-SQLシステムは、標準的なベンチマークで顕著なパフォーマンスを達成するが、ビジネスロジックやデータ規約、分析プラクティスといった、暗黙的にドメイン固有の知識に依存しているユーザクエリが、スキーマによって取得されず、自然言語の質問で明示的に記述されていない場合に苦労する。
過去のSQLクエリログはそのような知識の貴重な情報源を提供するが、既存のベンチマークは履歴駆動アプローチの評価を適切にサポートしていない。
このギャップに対処するために,11のデータベースに1,393のタスクからなるベンチマークBIRD-Historyを紹介した。
各タスクは、どの履歴クエリが関連する知識を含み、どのSQL節がそれをエンコードしているかを指定し、検索の有効性と知識利用の双方を体系的に評価する。
ベンチマークと並行して,過去のSQLスクリプトから5種類の外部知識を抽出し,関連するフラグメントを検索してクエリ生成するプラグインレトリバーを提案する。
レトリバーは、迅速な修正を必要とせずに、既存の数ショットのテキスト-SQLパイプラインにシームレスに統合される。
実験では、4つのテキスト-SQLシステム間で一貫した改善が示されており、未特定クエリを扱うために履歴クエリログを活用することの価値を強調している。
データセットとコードはhttps://github.com/zjuidg/BIRD-History.comで公開されている。
関連論文リスト
- ProSPy: A Profiling-Driven SQL-Python Agentic Framework for Enterprise Text-to-SQL [51.98164069124653]
ProSPyは、エンタープライズスケールのテキスト-非依存分析のためのプロファイリング駆動フレームワークである。
ProSPyは推論プロセスを4段階に構成する。
まず、自動プロファイリングにより、きめ細かいデータ証拠を抽出する。
大規模なスキーマをタスク関連コンテキストに抽出する。
論文 参考訳（メタデータ） (2026-06-04T08:13:05Z) - EntSQL: A Benchmark for Grounding Text-to-SQL in Long-Context Enterprise Knowledge [20.59995531311023]
Spider、BIRD、Spider2.0といった既存のベンチマークでは、スキーマの一般化、大規模データベース、現実性を評価している。
エンタープライズ指向のテキスト・ツー・プライベート・ベンチマークであるEntを紹介した。
英語の入力では、最も優れた評価システムは、長文の文書が提供されるときの15.9%にしか達しない。
論文 参考訳（メタデータ） (2026-06-02T09:12:57Z) - PARROT: A Benchmark for Evaluating LLMs in Cross-System SQL Translation [21.0303026118673]
本稿では CrOss-System SQL Translation のための実践的で現実的なベンチマック PARROT を紹介する。
PARROTは38のオープンソースベンチマークと実世界のビジネスサービスから598の翻訳ペアで構成されている。
28,003 の PARROT-Diverse や 5,306 のサンプルを持つ PARROT-Simple など,複数のベンチマーク版も提供しています。
論文 参考訳（メタデータ） (2025-09-27T14:41:13Z) - Datrics Text2SQL: A Framework for Natural Language to SQL Query Generation [0.0]
本稿では,構造化ドキュメンテーション,サンプルベース学習,ドメイン固有のルールを活用することで,正確なsqlクエリを生成するためのRAG(Retrieval-Augmented Generation)ベースのフレームワークを提案する。
アーキテクチャ、トレーニング方法論、検索ロジックについて詳述し、システムがどのようにユーザ意図とデータベース構造の間のギャップを、専門知識を必要とせずに埋めるかを強調した。
論文 参考訳（メタデータ） (2025-04-03T21:09:59Z) - Text2SQL is Not Enough: Unifying AI and Databases with TAG [47.45480855418987]
Table-Augmented Generation (TAG) は、データベース上の自然言語の質問に答えるパラダイムである。
我々は、TAG問題を研究するためのベンチマークを開発し、標準手法がクエリの20%以上を正しく答えることを発見した。
論文 参考訳（メタデータ） (2024-08-27T00:50:14Z) - UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。
公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。
広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
論文 参考訳（メタデータ） (2023-05-25T17:19:52Z) - Can LLM Already Serve as A Database Interface? A BIg Bench for
Large-Scale Database Grounded Text-to-SQLs [89.68522473384522]
テキストから効率のよいタスクをベースとした大規模データベースのための大規模なベンチマークであるBirdを紹介します。
データベースの値に重点を置いていると、汚いデータベースコンテンツに対する新たな課題が浮き彫りになる。
最も効果的なテキストから効率のよいモデルであるChatGPTでさえ、実行精度はわずか40.08%である。
論文 参考訳（メタデータ） (2023-05-04T19:02:29Z) - A Survey on Text-to-SQL Parsing: Concepts, Methods, and Future
Directions [102.8606542189429]
テキストからコーパスへのパースの目的は、自然言語(NL)質問をデータベースが提供するエビデンスに基づいて、対応する構造化クエリ言語()に変換することである。
ディープニューラルネットワークは、入力NL質問から出力クエリへのマッピング関数を自動的に学習するニューラルジェネレーションモデルによって、このタスクを大幅に進歩させた。
論文 参考訳（メタデータ） (2022-08-29T14:24:13Z) - HIE-SQL: History Information Enhanced Network for Context-Dependent
Text-to-SQL Semantic Parsing [1.343950231082215]
ヒストリー発話と最後のsqlクエリの両方からコンテキスト依存情報を利用するヒストリー情報拡張テキスト・トゥ・ザ・アート・モデル(HIE-)を提案する。
本研究では,2つの文脈依存型テキスト・トゥ・ザ・アーティカル・ベンチマークにおいて,HIE-の性能を著しく向上させる手法を提案する。
論文 参考訳（メタデータ） (2022-03-14T11:58:37Z) - Weakly Supervised Text-to-SQL Parsing through Question Decomposition [53.22128541030441]
我々は最近提案されたQDMR(QDMR)という意味表現を活用している。
質問やQDMR構造(非専門家によって注釈付けされたり、自動予測されたりする)、回答が与えられたら、我々は自動的にsqlクエリを合成できる。
本結果は,NL-ベンチマークデータを用いて訓練したモデルと,弱い教師付きモデルが競合することを示す。
論文 参考訳（メタデータ） (2021-12-12T20:02:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。