論文の概要: CHESS: Contextual Harnessing for Efficient SQL Synthesis
- arxiv url: http://arxiv.org/abs/2405.16755v1
- Date: Mon, 27 May 2024 01:54:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 19:25:57.203249
- Title: CHESS: Contextual Harnessing for Efficient SQL Synthesis
- Title(参考訳): CHESS: 効率的なSQL合成のためのコンテキストハラスメント
- Authors: Shayan Talaei, Mohammadreza Pourreza, Yu-Chen Chang, Azalia Mirhoseini, Amin Saberi,
- Abstract要約: 我々は,関連するデータとコンテキストを検索し,効率的なスキーマを選択し,正確で効率的なクエリを合成する新しいパイプラインを提案する。
提案手法は,BIRDデータセットの領域横断における最先端性能を実現する。
- 参考スコア(独自算出の注目度): 1.9506402593665235
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Utilizing large language models (LLMs) for transforming natural language questions into SQL queries (text-to-SQL) is a promising yet challenging approach, particularly when applied to real-world databases with complex and extensive schemas. In particular, effectively incorporating data catalogs and database values for SQL generation remains an obstacle, leading to suboptimal solutions. We address this problem by proposing a new pipeline that effectively retrieves relevant data and context, selects an efficient schema, and synthesizes correct and efficient SQL queries. To increase retrieval precision, our pipeline introduces a hierarchical retrieval method leveraging model-generated keywords, locality-sensitive hashing indexing, and vector databases. Additionally, we have developed an adaptive schema pruning technique that adjusts based on the complexity of the problem and the model's context size. Our approach generalizes to both frontier proprietary models like GPT-4 and open-source models such as Llama-3-70B. Through a series of ablation studies, we demonstrate the effectiveness of each component of our pipeline and its impact on the end-to-end performance. Our method achieves new state-of-the-art performance on the cross-domain challenging BIRD dataset.
- Abstract(参考訳): 自然言語の質問をSQLクエリ(text-to-SQL)に変換するための大規模言語モデル(LLM)の利用は、特に複雑で広範なスキーマを持つ現実世界のデータベースに適用する場合、有望で難しいアプローチである。
特に、SQL生成のためのデータカタログとデータベース値を効果的に組み込むことは、依然として障害であり、亜最適ソリューションに繋がる。
この問題に対処するために、関連するデータやコンテキストを効率的に検索し、効率的なスキーマを選択し、正しいSQLクエリを合成する新しいパイプラインを提案する。
検索精度を向上させるために,モデル生成キーワード,局所性に敏感なハッシュインデックス,ベクトルデータベースを活用した階層的検索手法を提案する。
さらに、問題の複雑さとモデルのコンテキストサイズに基づいて、適応的なスキーマプルーニング手法を開発した。
我々のアプローチは、GPT-4のようなフロンティアプロプライエタリモデルと、Llama-3-70Bのようなオープンソースモデルの両方に一般化されている。
一連のアブレーション研究を通じて、パイプラインの各コンポーネントの有効性と、エンドツーエンドのパフォーマンスへの影響を実証する。
提案手法は,BIRDデータセットの領域横断における最先端性能を実現する。
関連論文リスト
- Improving Retrieval-augmented Text-to-SQL with AST-based Ranking and Schema Pruning [10.731045939849125]
我々は,大規模言語モデルの観点から,テキストからテキストへのセマンティックパーシングに注目した。
商用データベースのスキーマのサイズとビジネスインテリジェンスソリューションの展開性に関する課題から,入力データベース情報を動的に取得するアプローチを提案する。
論文 参考訳(メタデータ) (2024-07-03T15:55:14Z) - UQE: A Query Engine for Unstructured Databases [71.49289088592842]
構造化されていないデータ分析を可能にするために,大規模言語モデルの可能性を検討する。
本稿では,非構造化データ収集からの洞察を直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。
論文 参考訳(メタデータ) (2024-06-23T06:58:55Z) - RH-SQL: Refined Schema and Hardness Prompt for Text-to-SQL [1.734218686180302]
本稿では,精製実行モデルとハードネス・プロンプトに基づくテキスト・トゥ・エクセルの手法を提案する。
パフォーマンスを維持しながら、ストレージとトレーニングのコストを削減する。
スパイダーデータセットに関する我々の実験は、特に大規模なLMを用いて、82.6%の異常な精度(EX)を達成した。
論文 参考訳(メタデータ) (2024-06-13T14:04:34Z) - Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。
本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。
オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
論文 参考訳(メタデータ) (2024-03-21T13:52:30Z) - DFIN-SQL: Integrating Focused Schema with DIN-SQL for Superior Accuracy
in Large-Scale Databases [0.0]
本稿では,DIN-composed (Decomposed-In-Context) の革新的な拡張であるDFINを紹介する。
DFINは、不正確な主要なソースであるスキーマリンクエラーに対処することで、テキストからコンポジションへの変換を強化する。
実世界の挑戦的なベンチマークであるBIRDデータセットの評価では、DFINは効率だけでなく精度も向上し、51.69のスコアが得られた。
論文 参考訳(メタデータ) (2024-03-01T07:14:45Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳(メタデータ) (2023-05-26T21:39:05Z) - SPSQL: Step-by-step Parsing Based Framework for Text-to-SQL Generation [13.196264569882777]
現在の主流のエンド・ツー・エンドのText2モデルは、複雑な構造とトレーニングデータに対する高い要求のために構築が困難であるだけでなく、大量のパラメータのために調整も困難である。
本稿では,所望の結果を得るために,SP実験というパイプライン手法を提案する。
我々は,中国のステートグリッドコーポレーションのマーケティングビジネスデータに基づくデータセットを構築した。
論文 参考訳(メタデータ) (2023-05-10T10:01:36Z) - Importance of Synthesizing High-quality Data for Text-to-SQL Parsing [71.02856634369174]
最先端のテキストから重み付けアルゴリズムは、強化された合成データでトレーニングされた場合、一般的なベンチマークでは改善されなかった。
本稿では,スキーマから重要な関係を取り入れ,強い型付けを課し,スキーマ重み付きカラムサンプリングを行う新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-17T02:53:21Z) - Proton: Probing Schema Linking Information from Pre-trained Language
Models for Text-to-SQL Parsing [66.55478402233399]
本稿では,ポアンカー距離測定に基づく探索手法を用いて,関係構造を抽出する枠組みを提案する。
スキーマリンクの一般的なルールベース手法と比較して,探索関係は意味的対応をしっかりと捉えることができることがわかった。
我々のフレームワークは3つのベンチマークで最先端のパフォーマンスを新たに設定する。
論文 参考訳(メタデータ) (2022-06-28T14:05:25Z) - IGSQL: Database Schema Interaction Graph Based Neural Model for
Context-Dependent Text-to-SQL Generation [61.09660709356527]
本稿では,データベーススキーマインタラクショングラフエンコーダを提案し,データベーススキーマ項目の履歴情報を利用する。
ベンチマークSParCおよびCoデータセットを用いて,本モデルの評価を行った。
論文 参考訳(メタデータ) (2020-11-11T12:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。