論文の概要: Tool-Assisted Agent on SQL Inspection and Refinement in Real-World Scenarios
- arxiv url: http://arxiv.org/abs/2408.16991v1
- Date: Fri, 30 Aug 2024 03:38:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-02 16:29:13.332327
- Title: Tool-Assisted Agent on SQL Inspection and Refinement in Real-World Scenarios
- Title（参考訳）: 実世界のシナリオにおけるSQLインスペクションとリファインメントのためのツール支援エージェント
- Authors: Zhongyuan Wang, Richong Zhang, Zhijie Nie, Jaein Kim,
- Abstract要約: 実際のシナリオでは、データベースのミスマッチが一般的です。
我々は,現実世界のシナリオで発生する条件ミスマッチ問題を反映した新しいデータセットであるSpider-Mismatchを紹介する。
提案手法は,数ショット設定で,スパイダーとスパイダー・リアリスティックのデータセットの平均値に対して高い性能を達成する。
- 参考スコア（独自算出の注目度）: 28.55596803781757
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent Text-to-SQL methods leverage large language models (LLMs) by incorporating feedback from the database management system. While these methods effectively address execution errors in SQL queries, they struggle with database mismatches -- errors that do not trigger execution exceptions. Database mismatches include issues such as condition mismatches and stricter constraint mismatches, both of which are more prevalent in real-world scenarios. To address these challenges, we propose a tool-assisted agent framework for SQL inspection and refinement, equipping the LLM-based agent with two specialized tools: a retriever and a detector, designed to diagnose and correct SQL queries with database mismatches. These tools enhance the capability of LLMs to handle real-world queries more effectively. We also introduce Spider-Mismatch, a new dataset specifically constructed to reflect the condition mismatch problems encountered in real-world scenarios. Experimental results demonstrate that our method achieves the highest performance on the averaged results of the Spider and Spider-Realistic datasets in few-shot settings, and it significantly outperforms baseline methods on the more realistic dataset, Spider-Mismatch.
- Abstract（参考訳）: 最近のText-to-SQLメソッドは,データベース管理システムからのフィードバックを取り入れることで,大規模言語モデル(LLM)を活用する。
これらのメソッドはSQLクエリの実行エラーを効果的に処理しますが、データベースミスマッチ -- 実行例外をトリガーしないエラー -- に苦労しています。
データベースのミスマッチには、条件ミスマッチやより厳密な制約ミスマッチといった問題が含まれており、どちらも現実のシナリオでより一般的である。
これらの課題に対処するために,データベースミスマッチによるSQLクエリの診断と修正を目的とした,レトリバーとディテクタという2つの特殊なツールを備えた,SQLインスペクションとリファインメントのためのツール支援エージェントフレームワークを提案する。
これらのツールは、LLMが現実世界のクエリをより効率的に処理する能力を高める。
また、現実世界のシナリオで発生する条件ミスマッチ問題を反映して構築された新しいデータセットであるSpider-Mismatchについても紹介する。
実験結果から,本手法はスパイダーとスパイダー・リアリスティックのデータセットの平均値に対して,数ショット設定で高い性能を達成し,より現実的なスパイダー・ミスマッチのベースライン手法よりも有意に優れていた。
関連論文リスト
- Solid-SQL: Enhanced Schema-linking based In-context Learning for Robust Text-to-SQL [13.122218546167463]
大規模言語モデル(LLM)は、テキスト・ツー・システムの性能を大幅に改善した。
多くのSOTA(State-of-the-art)アプローチは、システムの堅牢性の重要な側面を見落としている。
論文 参考訳（メタデータ） (2024-12-17T04:22:22Z) - Exploring the Use of LLMs for SQL Equivalence Checking [15.42143912008553]
2sqlクエリの等価チェックは難解な問題である。
既存の方法は、有界同値チェックであっても、sqlの小さなサブセットのみを扱うことができる。
本稿では,大言語モデル (LLM) が withsql クエリを推論する能力を示すことができるかどうかを考察する。
論文 参考訳（メタデータ） (2024-12-07T06:50:12Z) - Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows [64.94146689665628]
Spider 2.0は、エンタープライズレベルのデータベースのユースケースから派生した、現実のテキストからsqlの問題に対する評価フレームワークである。
Spider 2.0のデータベースは、実際のデータアプリケーションからソースされ、1,000以上の列を含み、BigQueryやSnowflakeなどのローカルまたはクラウドデータベースシステムに格納されることが多い。
Spider 2.0の問題解決には、データベースメタデータ、方言文書、さらにはプロジェクトレベルの理解と検索が頻繁に必要であることを示す。
論文 参考訳（メタデータ） (2024-11-12T12:52:17Z) - E-SQL: Direct Schema Linking via Question Enrichment in Text-to-SQL [1.187832944550453]
E-Seekは、直接スキーマリンクと候補述語拡張を通じてこれらの課題に対処するように設計された、新しいパイプラインである。
E-Seekは、関連するデータベース項目(テーブル、列、値)と条件を直接質問とsql構築計画に組み込むことで、自然言語クエリを強化し、クエリとデータベース構造の間のギャップを埋める。
総合的な評価は、E-Seekが競争性能、特に66.29%の実行精度で複雑なクエリに優れていることを示している。
論文 参考訳（メタデータ） (2024-09-25T09:02:48Z) - PTD-SQL: Partitioning and Targeted Drilling with LLMs in Text-to-SQL [54.304872649870575]
大規模言語モデル(LLM)は、テキスト・トゥ・センス・タスクの強力なツールとして登場した。
本研究では,クエリグループパーティショニングを用いることで,単一問題に特有の思考プロセスの学習に集中できることを示す。
論文 参考訳（メタデータ） (2024-09-21T09:33:14Z) - DAC: Decomposed Automation Correction for Text-to-SQL [51.48239006107272]
De Automation Correction (DAC)を導入し、エンティティリンクとスケルトン解析を分解することでテキストから合成を補正する。
また,本手法では,ベースライン法と比較して,スパイダー,バード,カグルDBQAの平均値が平均3.7%向上することを示した。
論文 参考訳（メタデータ） (2024-08-16T14:43:15Z) - RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。
In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。
実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2024-07-11T08:19:58Z) - SQLFixAgent: Towards Semantic-Accurate Text-to-SQL Parsing via Consistency-Enhanced Multi-Agent Collaboration [26.193588535592767]
本稿では,SQLの誤検出と修復を目的とした,新しい一貫性向上型マルチエージェント協調フレームワークを提案する。
提案するフレームワークを5つのテキスト・テキスト・ベンチマークで評価する。
本手法はベースラインモデルの性能を継続的に向上させる。
私たちのフレームワークは、他の高度なメソッドよりもトークン効率が高いので、より競争力があります。
論文 参考訳（メタデータ） (2024-06-19T09:57:19Z) - MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL [47.120862170230566]
最近のText-to-Yourselfメソッドは通常、"巨大な"データベース上での大幅なパフォーマンス劣化に悩まされる。
我々は,新しいテキスト・ツー・ユー・セルフ LLM ベースのマルチエージェント協調フレームワーク MAC を紹介する。
我々のフレームワークでは、GPT-4を全てのエージェントタスクの強力なバックボーンとして利用し、フレームワークの上限を決定する。
次に、Code 7Bを活用することで、オープンソースの命令フォローモデルであるsql-Llamaを微調整し、GPT-4のように全てのタスクを達成します。
論文 参考訳（メタデータ） (2023-12-18T14:40:20Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳（メタデータ） (2023-05-26T21:39:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。