論文の概要: CHASE-SQL: Multi-Path Reasoning and Preference Optimized Candidate Selection in Text-to-SQL
- arxiv url: http://arxiv.org/abs/2410.01943v1
- Date: Wed, 2 Oct 2024 18:41:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 09:54:27.587646
- Title: CHASE-SQL: Multi-Path Reasoning and Preference Optimized Candidate Selection in Text-to-SQL
- Title（参考訳）: CHASE-SQL: テキストからSQLへのマルチパス推論と推奨候補選択
- Authors: Mohammadreza Pourreza, Hailong Li, Ruoxi Sun, Yeounoh Chung, Shayan Talaei, Gaurav Tarlok Kakkar, Yu Gan, Amin Saberi, Fatma Ozcan, Sercan O. Arik,
- Abstract要約: CHASE-は、マルチエージェントモデリングにおけるテスト時間計算を用いて、候補生成と選択を改善する革新的な戦略を利用する新しいフレームワークである。
最適な候補を特定するために、選別エージェントを用いて、微調整された二項候補選択LLMとのペア比較により候補をランク付けする。
提案したCHASE-は、BIRD Text-to- datasetベンチマークのテストセットと開発セットにおいて、73.0%と73.01%の最先端実行精度を実現している。
- 参考スコア（独自算出の注目度）: 9.47170756607886
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In tackling the challenges of large language model (LLM) performance for Text-to-SQL tasks, we introduce CHASE-SQL, a new framework that employs innovative strategies, using test-time compute in multi-agent modeling to improve candidate generation and selection. CHASE-SQL leverages LLMs' intrinsic knowledge to generate diverse and high-quality SQL candidates using different LLM generators with: (1) a divide-and-conquer method that decomposes complex queries into manageable sub-queries in a single LLM call; (2) chain-of-thought reasoning based on query execution plans, reflecting the steps a database engine takes during execution; and (3) a unique instance-aware synthetic example generation technique, which offers specific few-shot demonstrations tailored to test questions.To identify the best candidate, a selection agent is employed to rank the candidates through pairwise comparisons with a fine-tuned binary-candidates selection LLM. This selection approach has been demonstrated to be more robust over alternatives. The proposed generators-selector framework not only enhances the quality and diversity of SQL queries but also outperforms previous methods. Overall, our proposed CHASE-SQL achieves the state-of-the-art execution accuracy of 73.0% and 73.01% on the test set and development set of the notable BIRD Text-to-SQL dataset benchmark, rendering CHASE-SQL the top submission of the leaderboard (at the time of paper submission).
- Abstract（参考訳）: テキスト・ツー・SQLタスクにおける大規模言語モデル(LLM)パフォーマンスの課題に対処するために,マルチエージェント・モデリングにおけるテスト時間計算を用いて候補生成と選択を改善する,革新的な戦略を取り入れた新しいフレームワークであるCHASE-SQLを紹介した。
CHASE-SQL は LLM の本質的な知識を活用して,異なる LLM ジェネレータを用いて多種多様な高品質な SQL 候補を生成する。(1) 複雑なクエリを単一の LLM コールで管理可能なサブクエリに分解する分割・コンカレントメソッド,(2) クエリ実行計画に基づくチェーン・オブ・シークレット推論,(3) クエリ実行中にデータベースエンジンが行うステップを反映する,(3) 独自のインスタンス認識合成例生成技術。
この選択アプローチは代替案よりも堅牢であることが示されている。
提案したジェネレータ-セレクタフレームワークは、SQLクエリの品質と多様性を高めるだけでなく、以前のメソッドよりも優れている。
全体として、提案したCHASE-SQLは、BIRD Text-to-SQLデータセットベンチマークのテストセットと開発セットにおいて、73.0%と73.01%の最先端実行精度を実現し、CHASE-SQLが(論文提出時点で)リーダーボードのトップサブミッションとなる。
関連論文リスト
- XiYan-SQL: A Multi-Generator Ensemble Framework for Text-to-SQL [20.010431872384714]
XiYanは、マルチコンテキストアンサンブル戦略を用いて、候補生成を改善する革新的なフレームワークである。
また,データベース構造を理解するための半構造化表現手法であるM-スキーマを導入する。
全体として、提案したXiYan-the-artフレームワークは、スパイダーテストセットで89.65%の最先端実行精度を実現する。
論文 参考訳（メタデータ） (2024-11-13T13:30:21Z) - PTD-SQL: Partitioning and Targeted Drilling with LLMs in Text-to-SQL [54.304872649870575]
大規模言語モデル(LLM)は、テキスト・トゥ・センス・タスクの強力なツールとして登場した。
本研究では,クエリグループパーティショニングを用いることで,単一問題に特有の思考プロセスの学習に集中できることを示す。
論文 参考訳（メタデータ） (2024-09-21T09:33:14Z) - RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。
In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。
実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2024-07-11T08:19:58Z) - CHESS: Contextual Harnessing for Efficient SQL Synthesis [1.9506402593665235]
効率的でスケーラブルなテキスト・ツー・クエリのためのフレームワークであるCHESSを紹介します。
特殊エージェントは4つあり、それぞれが上記の課題の1つをターゲットにしている。
私たちのフレームワークは、さまざまなデプロイメント制約に適応する機能を提供する。
論文 参考訳（メタデータ） (2024-05-27T01:54:16Z) - MCS-SQL: Leveraging Multiple Prompts and Multiple-Choice Selection For Text-to-SQL Generation [10.726734105960924]
大規模言語モデル(LLM)は、テキストからタスクへの微調整アプローチを大幅に上回る、ICL(In-context Learning)ベースの手法を実現している。
本研究は,LLMのプロンプトに対する感受性を考察し,複数のプロンプトを活用してより広い探索空間を探索する手法を提案する。
生成したクエリの精度と効率の両面から,BIRD上に新たなSOTA性能を確立する。
論文 参考訳（メタデータ） (2024-05-13T04:59:32Z) - CoE-SQL: In-Context Learning for Multi-Turn Text-to-SQL with Chain-of-Editions [22.493487741249716]
大規模言語モデル(LLM)は、様々なドメインやタスクにおいて印象的な機能を持つことが実証されている。
マルチターンテキスト・ツー・タスクにおけるプロンプト設計の問題について検討し,LLMの推論能力の向上を図る。
論文 参考訳（メタデータ） (2024-05-04T16:56:14Z) - MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL [47.120862170230566]
最近のText-to-Yourselfメソッドは通常、"巨大な"データベース上での大幅なパフォーマンス劣化に悩まされる。
我々は,新しいテキスト・ツー・ユー・セルフ LLM ベースのマルチエージェント協調フレームワーク MAC を紹介する。
我々のフレームワークでは、GPT-4を全てのエージェントタスクの強力なバックボーンとして利用し、フレームワークの上限を決定する。
次に、Code 7Bを活用することで、オープンソースの命令フォローモデルであるsql-Llamaを微調整し、GPT-4のように全てのタスクを達成します。
論文 参考訳（メタデータ） (2023-12-18T14:40:20Z) - SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data [54.69489315952524]
Prompt"は、Text-to-LLMのいくつかのショットプロンプト機能を改善するように設計されている。
Prompt"は、ラベル付きデータが少なく、テキスト内学習における従来のアプローチよりも大きなマージンで優れている。
emphPromptはテキスト内学習における従来の手法よりも優れており,ラベル付きデータはほとんどない。
論文 参考訳（メタデータ） (2023-11-06T05:24:06Z) - Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
論文 参考訳（メタデータ） (2023-08-29T14:59:54Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳（メタデータ） (2023-05-26T21:39:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。