論文の概要: Finding the Right Tables and Columns: A Benchmark and Corpus-Adaptive Embeddings for SQL Schema Retrieval
- arxiv url: http://arxiv.org/abs/2607.13311v1
- Date: Tue, 14 Jul 2026 22:31:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.599443
- Title: Finding the Right Tables and Columns: A Benchmark and Corpus-Adaptive Embeddings for SQL Schema Retrieval
- Title(参考訳): 正しいテーブルとカラムを見つける:SQLスキーマ検索のためのベンチマークとコーパス適応型埋め込み
- Abstract要約: 我々は5つのテキストから言語へのデータセットをテーブルと列の粒度の両方で検索タスクとして再キャストした。
オフザシェルフテキストとコード埋め込みは、この設定に不十分に転送されることを示す。
本稿では,対象コーパスから直接自然言語クエリを合成するコーパス適応微調整を提案する。
- 参考スコア(独自算出の注目度): 9.741583305127994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval in the SQL setting has largely been studied as the task of finding, within a large collection of SQL statements, the statement that answers a natural-language question. At scale, however, a more fundamental retrieval problem precedes generation: schema retrieval, identifying the tables and columns a question requires in a database that may contain thousands of them, far more than fit in a model's context. We argue that this step warrants first-class evaluation. To this end, we recast five text-to-SQL datasets (Spider, BIRD, BEAVER, and two LiveSQLBench variants) as retrieval tasks at both table and column granularity, covering realistic and enterprise-scale schemas under two document representations, and we show that off-the-shelf text and code embedders transfer poorly to this setting. We then propose corpus-adaptive fine-tuning: natural-language queries are synthesized directly from the target schema corpus, granularity-aware hard negatives are mined, and a 305M-parameter embedder is fine-tuned contrastively. This procedure raises average recall@10 from 60.4 to 75.6 (nDCG@10 from 51.9 to 68.0), making the 305M model the strongest retriever under one billion parameters and competitive with state-of-the-art embedders of 4-8B parameters, more than an order of magnitude larger. The same recipe improves an 8B state-of-the-art embedder from 77.8 to 78.4 recall@10, matching the best result on the benchmark and indicating that the adaptation is backbone-agnostic. Leave-one-corpus-out experiments and a leakage audit show that these gains reflect a transferable schema-retrieval ability rather than memorization of the evaluation data. Our results establish schema linking as a standalone retrieval task and lightweight, label-free corpus adaptation as a practical route to deploying it at enterprise scale.
- Abstract(参考訳): SQL設定の検索は、SQLステートメントの大規模なコレクションの中で、自然言語の質問に答えるステートメントを見つけるタスクとして、主に研究されている。
しかし、大規模では、より基本的な検索問題が生成に先行する: スキーマ検索、質問が必要とするテーブルと列を識別する。
このステップは第一級評価を保証します。
この目的のために、我々は5つのテキストからSQLまでのデータセット(Spider、BIRD、BEAVER、および2つのLiveSQLBenchの変種)をテーブルとカラムの粒度の検索タスクとして再キャストし、2つの文書表現の下で現実的およびエンタープライズ規模のスキーマをカバーし、オフザシェルフテキストとコード埋め込みがこの設定に不適切な転送を行うことを示す。
次に、対象のスキーマコーパスから直接自然言語クエリを合成し、粒度を考慮したハードネガティブをマイニングし、305Mパラメーター埋め込みを対照的に微調整するコーパス適応微調整を提案する。
この手順は、平均リコール@10を60.4から75.6(nDCG@10は51.9から68.0)に引き上げ、305Mモデルは10億のパラメータで最強のレトリバーとなり、最先端の4-8Bパラメータと競合する。
同じレシピでは、77.8から78.4リコール@10への8Bの組込みが改善され、ベンチマークで最高の結果と一致し、適応がバックボーンに依存しないことが示される。
残余のコーパスアウト実験と漏洩監査は、これらのゲインが評価データの記憶よりも、転送可能なスキーマ検索能力を反映していることを示している。
提案手法は, 単独検索タスクとしてスキーマリンクを確立し, 企業規模で展開するための実践的なルートとして, ラベルなしコーパスの軽量化を実現している。
関連論文リスト
- Spider 2.0-AIFunc: Extending Real-World Text-to-SQL to AI-Native SQL Workflows [54.49251107006261]
我々はSpider 2.0-AIFuncを紹介した。これは、Snowflakeプラットフォーム上の6種類のAI機能をカバーする125の現実世界データベースにわたる465の検証済みインスタンスのベンチマークである。
最強のプロプライエタリモデルは67-70%の精度で実行でき、最高のオープンソースモデルは58.1%に達する。
論文 参考訳(メタデータ) (2026-07-07T12:54:08Z) - Database Context Compression for Text-to-SQL on Real-World Large Databases [23.20528827913883]
我々は、主要なボトルネックは推論ではなく、データベース表現であると主張している。
実際のデータベースには、繰り返し行われる監査列、類似したテーブルの大規模なグループ、ドキュメントにのみ格納される不透明な識別子、クエリ関連の情報が少ない広範なデータ辞書が含まれる。
我々は、スキーマ、セマンティック記述、外部文書をコンパクトな表現に書き換えるクエリアリンク変換であるデータベースコンテキスト圧縮として問題を再構築する。
論文 参考訳(メタデータ) (2026-06-26T20:49:46Z) - DecoSearch: Complexity-Aware Routing and Plan-Level Repair for Text-to-SQL [21.568773170643084]
DecoSearchはトレーニング不要のフレームワークで、各クエリを適切な推論レベルにルーティングする。
BIRDは70.53%、Spiderは88.31%、DeepSeekのバックボーンは88.31%である。
論文 参考訳(メタデータ) (2026-06-16T11:48:50Z) - EGREFINE: An Execution-Grounded Optimization Framework for Text-to-SQL Schema Refinement [10.675982676332941]
既存のアプローチでは、スキーマを固定として扱い、下流でエラーに対処する。
我々は、制約付き最適化問題としてスキーマの洗練を枠組み化した。
この問題の計算硬度を解析し、カラムワイドグリーディ分解を動機付ける。
論文 参考訳(メタデータ) (2026-05-01T13:01:59Z) - TRUST-SQL: Tool-Integrated Multi-Turn Reinforcement Learning for Text-to-SQL over Unknown Schemas [22.65474240295148]
我々はTRUST(Truthful Reasoning with Unknown via Tools)を提案する。
我々は,このタスクを,自律エージェントが構造化された4相プロトコルを用いて検証された推論を行う部分観測可能なマルコフ決定プロセスとして定式化する。
トークンレベルマスキングの利点を適用することで、この戦略は、調査報酬を実行結果から分離し、クレジットの割り当てを解決する。
論文 参考訳(メタデータ) (2026-03-17T12:30:42Z) - CORE-T: COherent REtrieval of Tables for Text-to-SQL [91.76918495375384]
CORE-Tはスケーラブルでトレーニング不要なフレームワークで、テーブルに目的のメタデータを付加し、軽量なテーブル互換キャッシュをプリコンプリートする。
バード、スパイダー、MMQAを越えて、CORE-Tはテーブル選択F1を最大22.7ポイント改善し、最大42%のテーブルを検索する。
論文 参考訳(メタデータ) (2026-01-19T14:51:23Z) - Text-to-SQL as Dual-State Reasoning: Integrating Adaptive Context and Progressive Generation [54.53145282349042]
DSR-sourced, textbfDual-textbfS textbfReasoning frameworkを導入する。
ポストトレーニングやインコンテキストの例がなければ、DSR-sourcedは競合性能を達成し、スパイダー2.0-Snowで35.28%、BIRD開発で68.32%に達する。
論文 参考訳(メタデータ) (2025-11-26T13:52:50Z) - SitEmb-v1.5: Improved Context-Aware Dense Retrieval for Semantic Association and Long Story Comprehension [77.93156509994994]
本研究では,検索性能を向上させるために,より広いコンテキストウインドウに条件付きで短いチャンクを表現する方法を示す。
既存の埋め込みモデルは、そのような場所のコンテキストを効果的にエンコードするのに十分な装備がない。
我々の手法は、最先端の埋め込みモデルよりも大幅に優れている。
論文 参考訳(メタデータ) (2025-08-03T23:59:31Z) - RAISE: Reasoning Agent for Interactive SQL Exploration [47.77323087050061]
本稿では,スキーマリンク,クエリ生成,反復的改善を1つのエンドツーエンドコンポーネントに統一する新しいフレームワークを提案する。
本手法は、不慣れなデータベースを扱う際に、人間がどう答えるかをエミュレートする。
論文 参考訳(メタデータ) (2025-06-02T03:07:08Z) - RSL-SQL: Robust Schema Linking in Text-to-SQL Generation [51.00761167842468]
本稿では、双方向スキーマリンク、コンテキスト情報拡張、バイナリ選択戦略、マルチターン自己補正を組み合わせたRSLと呼ばれる新しいフレームワークを提案する。
ベンチマークの結果,オープンソースのソリューション間でのSOTA実行精度は67.2%,BIRDは87.9%,GPT-4オクルージョンは87.9%であった。
提案手法は,DeepSeekを同一のプロンプトで適用した場合,GPT-4ベースのテキスト・ツー・シークシステムよりも優れている。
論文 参考訳(メタデータ) (2024-10-31T16:22:26Z) - BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。
私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
論文 参考訳(メタデータ) (2024-07-16T17:58:27Z) - N-Best Hypotheses Reranking for Text-To-SQL Systems [6.966624873109535]
Text-to-Taskは自然言語の発話を構造化クエリにマッピングする。
最先端のSOTA(State-of-the-art)システムは、大規模で訓練済みの言語モデルに頼っている。
発見は、再ランク付けによる潜在的な大幅な改善を示している。
論文 参考訳(メタデータ) (2022-10-19T15:35:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。