論文の概要: Using LLM to select the right SQL Query from candidates

• arxiv url: http://arxiv.org/abs/2401.02115v1
• Date: Thu, 4 Jan 2024 07:50:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-05 15:44:30.733322
• Title: Using LLM to select the right SQL Query from candidates
• Title（参考訳）: LLMを使って候補から正しいSQLクエリを選択する
• Authors: Zhenwen Li, Tao Xie
• Abstract要約: 候補リストから適切なクエリを選択するリランク手法を提案する。 実験結果から,提案手法の適用により,最先端モデルの性能が3.6%向上することが示唆された。
• 参考スコア（独自算出の注目度）: 7.462629286980003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-SQL models can generate a list of candidate SQL queries, and the best query is often in the candidate list, but not at the top of the list. An effective re-rank method can select the right SQL query from the candidate list and improve the model's performance. Previous studies on code generation automatically generate test cases and use them to re-rank candidate codes. However, automatic test case generation for text-to-SQL is an understudied field. We propose an automatic test case generation method that first generates a database and then uses LLMs to predict the ground truth, which is the expected execution results of the ground truth SQL query on this database. To reduce the difficulty for LLMs to predict, we conduct experiments to search for ways to generate easy databases for LLMs and design easy-to-understand prompts. Based on our test case generation method, we propose a re-rank method to select the right SQL query from the candidate list. Given a candidate list, our method can generate test cases and re-rank the candidate list according to their pass numbers on these test cases and their generation probabilities. The experiment results on the validation dataset of Spider show that the performance of some state-of-the-art models can get a 3.6\% improvement after applying our re-rank method.
• Abstract（参考訳）: text-to-sqlモデルは、候補sqlクエリのリストを生成することができ、最良のクエリは、しばしば候補リストにあるが、リストのトップではない。 効果的なリランク手法では、候補リストから正しいSQLクエリを選択し、モデルの性能を改善することができる。 コード生成に関するこれまでの研究は、自動でテストケースを生成し、それらを候補コードの再ランクに使用する。 しかし、テキストからSQLへの自動テストケース生成は未調査の分野である。 そこで本研究では,まずデータベースを生成し,その後llmsを用いて基底真理を予測する自動テストケース生成手法を提案する。 LLMの予測の難しさを軽減するため,LLMのデータベース生成方法の探索や,理解しやすいプロンプトの設計を行う。 本稿では,テストケース生成手法に基づき,候補リストから適切なSQLクエリを選択するリランク手法を提案する。 候補リストが与えられると、テストケースを生成し、これらのテストケースのパス番号と生成確率に応じて候補リストを再ランク付けすることができる。 実験の結果、Spiderの検証データセットから、いくつかの最先端モデルの性能は、再ランク法を適用して3.6\%改善できることが示された。

関連論文リスト

• CHASE-SQL: Multi-Path Reasoning and Preference Optimized Candidate Selection in Text-to-SQL [9.47170756607886]
  CHASE-は、マルチエージェントモデリングにおけるテスト時間計算を用いて、候補生成と選択を改善する革新的な戦略を利用する新しいフレームワークである。 最適な候補を特定するために、選別エージェントを用いて、微調整された二項候補選択LLMとのペア比較により候補をランク付けする。 提案したCHASE-は、BIRD Text-to- datasetベンチマークのテストセットと開発セットにおいて、73.0%と73.01%の最先端実行精度を実現している。
  論文  参考訳（メタデータ） (2024-10-02T18:41:35Z)
• DAC: Decomposed Automation Correction for Text-to-SQL [51.48239006107272]
  De Automation Correction (DAC)を導入し、エンティティリンクとスケルトン解析を分解することでテキストから合成を補正する。 また,本手法では,ベースライン法と比較して,スパイダー,バード,カグルDBQAの平均値が平均3.7%向上することを示した。
  論文  参考訳（メタデータ） (2024-08-16T14:43:15Z)
• RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
  文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。 In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。 実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-07-11T08:19:58Z)
• MCS-SQL: Leveraging Multiple Prompts and Multiple-Choice Selection For Text-to-SQL Generation [10.726734105960924]
  大規模言語モデル(LLM)は、テキストからタスクへの微調整アプローチを大幅に上回る、ICL(In-context Learning)ベースの手法を実現している。 本研究は,LLMのプロンプトに対する感受性を考察し,複数のプロンプトを活用してより広い探索空間を探索する手法を提案する。 生成したクエリの精度と効率の両面から,BIRD上に新たなSOTA性能を確立する。
  論文  参考訳（メタデータ） (2024-05-13T04:59:32Z)
• LLM-R2: A Large Language Model Enhanced Rule-based Rewrite System for Boosting Query Efficiency [65.01402723259098]
  本稿では,LLM-R2 という新しいクエリ書き換え手法を提案する。 実験結果から,本手法はクエリ実行効率を大幅に向上し,ベースライン法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-04-19T13:17:07Z)
• SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data [54.69489315952524]
  Prompt"は、Text-to-LLMのいくつかのショットプロンプト機能を改善するように設計されている。 Prompt"は、ラベル付きデータが少なく、テキスト内学習における従来のアプローチよりも大きなマージンで優れている。 emphPromptはテキスト内学習における従来の手法よりも優れており,ラベル付きデータはほとんどない。
  論文  参考訳（メタデータ） (2023-11-06T05:24:06Z)
• Retrieval-augmented GPT-3.5-based Text-to-SQL Framework with Sample-aware Prompting and Dynamic Revision Chain [21.593701177605652]
  サンプルと動的リビジョンチェーンを含むテキスト・ツー・アウェア・プロンプト・フレームワークを提案する。 提案手法は,質問項目のサンプルと詳細な情報を含む。 人間の介入なしに実行可能で正確なスクルを生成するために、我々は、きめ細かいフィードバックを反復的に適応する動的リビジョンチェーンを設計する。
  論文  参考訳（メタデータ） (2023-07-11T07:16:22Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)
• T5QL: Taming language models for SQL generation [0.0]
  セマンティック解析のための現在のSOTA法は、ベンチマークデータセット上で高い予測精度を達成するためにLLMに依存する。 我々は,ベンチマークデータセットにおいて,より小さなLM(T5-Base)を使用する場合,SOTA法と比較して13ppの高速化を行う新しい手法であるT5QLを提案する。
  論文  参考訳（メタデータ） (2022-09-21T10:43:13Z)
• Bertrand-DR: Improving Text-to-SQL using a Discriminative Re-ranker [1.049360126069332]
  生成テキスト-リミモデルの性能向上を図るために,新しい離散型リランカを提案する。 テキスト・ト・リミモデルとリランカモデルの相対強度を最適性能として解析する。 本稿では,2つの最先端テキスト-リミモデルに適用することで,リランカの有効性を実証する。
  論文  参考訳（メタデータ） (2020-02-03T04:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。