論文の概要: Tool-Assisted Agent on SQL Inspection and Refinement in Real-World Scenarios
- arxiv url: http://arxiv.org/abs/2408.16991v1
- Date: Fri, 30 Aug 2024 03:38:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-02 16:29:13.332327
- Title: Tool-Assisted Agent on SQL Inspection and Refinement in Real-World Scenarios
- Title（参考訳）: 実世界のシナリオにおけるSQLインスペクションとリファインメントのためのツール支援エージェント
- Authors: Zhongyuan Wang, Richong Zhang, Zhijie Nie, Jaein Kim,
- Abstract要約: 実際のシナリオでは、データベースのミスマッチが一般的です。
我々は,現実世界のシナリオで発生する条件ミスマッチ問題を反映した新しいデータセットであるSpider-Mismatchを紹介する。
提案手法は,数ショット設定で,スパイダーとスパイダー・リアリスティックのデータセットの平均値に対して高い性能を達成する。
- 参考スコア（独自算出の注目度）: 28.55596803781757
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent Text-to-SQL methods leverage large language models (LLMs) by incorporating feedback from the database management system. While these methods effectively address execution errors in SQL queries, they struggle with database mismatches -- errors that do not trigger execution exceptions. Database mismatches include issues such as condition mismatches and stricter constraint mismatches, both of which are more prevalent in real-world scenarios. To address these challenges, we propose a tool-assisted agent framework for SQL inspection and refinement, equipping the LLM-based agent with two specialized tools: a retriever and a detector, designed to diagnose and correct SQL queries with database mismatches. These tools enhance the capability of LLMs to handle real-world queries more effectively. We also introduce Spider-Mismatch, a new dataset specifically constructed to reflect the condition mismatch problems encountered in real-world scenarios. Experimental results demonstrate that our method achieves the highest performance on the averaged results of the Spider and Spider-Realistic datasets in few-shot settings, and it significantly outperforms baseline methods on the more realistic dataset, Spider-Mismatch.
- Abstract（参考訳）: 最近のText-to-SQLメソッドは,データベース管理システムからのフィードバックを取り入れることで,大規模言語モデル(LLM)を活用する。
これらのメソッドはSQLクエリの実行エラーを効果的に処理しますが、データベースミスマッチ -- 実行例外をトリガーしないエラー -- に苦労しています。
データベースのミスマッチには、条件ミスマッチやより厳密な制約ミスマッチといった問題が含まれており、どちらも現実のシナリオでより一般的である。
これらの課題に対処するために,データベースミスマッチによるSQLクエリの診断と修正を目的とした,レトリバーとディテクタという2つの特殊なツールを備えた,SQLインスペクションとリファインメントのためのツール支援エージェントフレームワークを提案する。
これらのツールは、LLMが現実世界のクエリをより効率的に処理する能力を高める。
また、現実世界のシナリオで発生する条件ミスマッチ問題を反映して構築された新しいデータセットであるSpider-Mismatchについても紹介する。
実験結果から,本手法はスパイダーとスパイダー・リアリスティックのデータセットの平均値に対して,数ショット設定で高い性能を達成し,より現実的なスパイダー・ミスマッチのベースライン手法よりも有意に優れていた。
関連論文リスト
- Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows [64.94146689665628]
Spider 2.0は、エンタープライズレベルのデータベースのユースケースから派生した、現実のテキストからsqlの問題に対する評価フレームワークである。
Spider 2.0のデータベースは、実際のデータアプリケーションからソースされ、1,000以上の列を含み、BigQueryやSnowflakeなどのローカルまたはクラウドデータベースシステムに格納されることが多い。
Spider 2.0の問題解決には、データベースメタデータ、方言文書、さらにはプロジェクトレベルの理解と検索が頻繁に必要であることを示す。
論文 参考訳（メタデータ） (2024-11-12T12:52:17Z) - E-SQL: Direct Schema Linking via Question Enrichment in Text-to-SQL [1.187832944550453]
E-レポジトリは、直接スキーマリンクと候補述語拡張による課題に対処するために設計された新しいパイプラインである。
E-は、関連するデータベースアイテム(テーブル、列、値)と条件を質問に直接組み込むことで、自然言語クエリを強化し、クエリとデータベース構造の間のギャップを埋める。
本研究では,従来の研究で広く研究されてきた手法であるスキーマフィルタリングの影響について検討し,先進的な大規模言語モデルと並行して適用した場合のリターンの低下を実証する。
論文 参考訳（メタデータ） (2024-09-25T09:02:48Z) - PTD-SQL: Partitioning and Targeted Drilling with LLMs in Text-to-SQL [54.304872649870575]
大規模言語モデル(LLM)は、テキスト・トゥ・センス・タスクの強力なツールとして登場した。
本研究では,クエリグループパーティショニングを用いることで,単一問題に特有の思考プロセスの学習に集中できることを示す。
論文 参考訳（メタデータ） (2024-09-21T09:33:14Z) - DAC: Decomposed Automation Correction for Text-to-SQL [51.48239006107272]
De Automation Correction (DAC)を導入し、エンティティリンクとスケルトン解析を分解することでテキストから合成を補正する。
また,本手法では,ベースライン法と比較して,スパイダー,バード,カグルDBQAの平均値が平均3.7%向上することを示した。
論文 参考訳（メタデータ） (2024-08-16T14:43:15Z) - RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。
In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。
実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2024-07-11T08:19:58Z) - SQLFixAgent: Towards Semantic-Accurate Text-to-SQL Parsing via Consistency-Enhanced Multi-Agent Collaboration [26.193588535592767]
本稿では,SQLの誤検出と修復を目的とした,新しい一貫性向上型マルチエージェント協調フレームワークを提案する。
提案したフレームワークを5つのテキスト・テキスト・ベンチマークで評価し,特にBirdベンチマークで3%以上の改善を実現した。
当社のフレームワークは,他の高度なメソッドと比較してトークン効率も高く,競争力も向上しています。
論文 参考訳（メタデータ） (2024-06-19T09:57:19Z) - EPI-SQL: Enhancing Text-to-SQL Translation with Error-Prevention Instructions [0.5755004576310334]
本稿では,Large Language Models(LLMs)を利用した新しい手法フレームワークであるEPIを導入し,テキスト・ツー・ワン・タスクの性能向上を図る。
EPI-は4段階のプロセスで動作し、一般的なエラー防止命令(EPI)を生成する。
タスク固有のガイダンスを提供し、手元にあるタスクの潜在的なエラーを回避することができる。
論文 参考訳（メタデータ） (2024-04-21T03:52:46Z) - MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL [47.120862170230566]
最近のText-to-Yourselfメソッドは通常、"巨大な"データベース上での大幅なパフォーマンス劣化に悩まされる。
我々は,新しいテキスト・ツー・ユー・セルフ LLM ベースのマルチエージェント協調フレームワーク MAC を紹介する。
我々のフレームワークでは、GPT-4を全てのエージェントタスクの強力なバックボーンとして利用し、フレームワークの上限を決定する。
次に、Code 7Bを活用することで、オープンソースの命令フォローモデルであるsql-Llamaを微調整し、GPT-4のように全てのタスクを達成します。
論文 参考訳（メタデータ） (2023-12-18T14:40:20Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳（メタデータ） (2023-05-26T21:39:05Z) - KaggleDBQA: Realistic Evaluation of Text-to-SQL Parsers [26.15889661083109]
実Webデータベースのクロスドメイン評価データセットであるKDBaggleQAを提案する。
我々は、KDBaggleQAが最先端のゼロショットに挑戦していることを示しているが、より現実的な評価設定と関連するデータベースドキュメントの創造的利用により、その正確性は13.2%以上向上している。
論文 参考訳（メタデータ） (2021-06-22T00:08:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。