論文の概要: Effectiveness of Prompt Optimization in NL2SQL Systems

• arxiv url: http://arxiv.org/abs/2505.20591v1
• Date: Mon, 26 May 2025 23:54:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.32457
• Title: Effectiveness of Prompt Optimization in NL2SQL Systems
• Title（参考訳）: NL2SQLシステムにおけるプロンプト最適化の有効性
• Authors: Sairam Gurajada, Eser Kandogan, Sajjadur Rahman,
• Abstract要約: 生産シナリオは高精度で高性能なNL2システムを必要とする。 このようなシナリオでは、クエリログ、ターゲットデータベース、実行レイテンシの複雑さをキャプチャする静的な例のセットを慎重に選択することは、類似性のみに基づく例の選択よりも重要な役割を担います。
• 参考スコア（独自算出の注目度）: 11.173297717087713
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: NL2SQL approaches have greatly benefited from the impressive capabilities of large language models (LLMs). In particular, bootstrapping an NL2SQL system for a specific domain can be as simple as instructing an LLM with sufficient contextual information, such as schema details and translation demonstrations. However, building an accurate system still requires the rigorous task of selecting the right context for each query-including identifying relevant schema elements, cell values, and suitable exemplars that help the LLM understand domain-specific nuances. Retrieval-based methods have become the go-to approach for identifying such context. While effective, these methods introduce additional inference-time costs due to the retrieval process. In this paper, we argue that production scenarios demand high-precision, high-performance NL2SQL systems, rather than simply high-quality SQL generation, which is the focus of most current NL2SQL approaches. In such scenarios, the careful selection of a static set of exemplars-capturing the intricacies of the query log, target database, SQL constructs, and execution latencies-plays a more crucial role than exemplar selection based solely on similarity. The key challenge, however, lies in identifying a representative set of exemplars for a given production setting. To this end, we propose a prompt optimization framework that not only addresses the high-precision requirement but also optimizes the performance of the generated SQL through multi-objective optimization. Preliminary empirical analysis demonstrates the effectiveness of the proposed framework.
• Abstract（参考訳）: NL2SQLアプローチは、大規模言語モデル(LLM)の印象的な機能から大きな恩恵を受けている。 特に、特定のドメインに対するNL2SQLシステムのブートストラッピングは、スキーマの詳細や翻訳デモのような十分なコンテキスト情報を持つLLMに指示するのと同じくらい簡単である。 しかし、正確なシステムを構築するには、関連するスキーマ要素、セル値、LLMがドメイン固有のニュアンスを理解するのに役立つ適切な例など、クエリ毎に適切なコンテキストを選択するという厳密な作業が必要である。 検索ベースのメソッドは、そのようなコンテキストを特定するためのゴーツーアプローチになっている。 有効ではあるが、これらの手法は検索プロセスによる追加の推論時間コストを導入している。 本稿では,現行のNL2SQLアプローチの焦点である,単に高品質なSQL生成ではなく,高精度で高性能なNL2SQLシステムを必要とすることを論じる。 このようなシナリオでは、クエリログ、ターゲットデータベース、SQLコンストラクト、実行遅延の複雑さをキャプチャする静的な例のセットを慎重に選択することは、類似性のみに基づく例の選択よりも重要な役割を担います。 しかし、重要な課題は、ある生産環境における代表的経験者のセットを特定することである。 そこで本研究では,高精度要求に対処するだけでなく,多目的最適化により生成したSQLの性能を最適化する,迅速な最適化フレームワークを提案する。 予備的な実証分析により,提案手法の有効性が示された。

関連論文リスト

• SchemaGraphSQL: Efficient Schema Linking with Pathfinding Graph Algorithms for Text-to-SQL on Large-Scale Databases [1.6544167074080365]
  本稿では、まず、外部キー関係に基づくスキーマグラフを構築する、ゼロショットでトレーニング不要なスキーマリンク手法を提案する。 我々は、結合すべきテーブルや列の最適なシーケンスを特定するために、古典的なパスフィニングアルゴリズムと後処理を適用する。 提案手法はBIRDベンチマークの最先端結果を実現し,従来の特殊化,微調整,複雑な多段階LCMに基づくアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2025-05-23T20:42:36Z)
• CHASE-SQL: Multi-Path Reasoning and Preference Optimized Candidate Selection in Text-to-SQL [9.47170756607886]
  CHASE-は、マルチエージェントモデリングにおけるテスト時間計算を用いて、候補生成と選択を改善する革新的な戦略を利用する新しいフレームワークである。 最適な候補を特定するために、選別エージェントを用いて、微調整された二項候補選択LLMとのペア比較により候補をランク付けする。 提案したCHASE-は、BIRD Text-to- datasetベンチマークのテストセットと開発セットにおいて、73.0%と73.01%の最先端実行精度を実現している。
  論文  参考訳（メタデータ） (2024-10-02T18:41:35Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• DeTriever: Decoder-representation-based Retriever for Improving NL2SQL In-Context Learning [19.93800175353809]
  DeTrieverは、隠れた状態の重み付けを学習する新しいデモ検索フレームワークである。 提案手法は1ショットNL2タスクにおける最先端のベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2024-06-12T06:33:54Z)
• MCS-SQL: Leveraging Multiple Prompts and Multiple-Choice Selection For Text-to-SQL Generation [10.726734105960924]
  大規模言語モデル(LLM)は、テキストからタスクへの微調整アプローチを大幅に上回る、ICL(In-context Learning)ベースの手法を実現している。 本研究は,LLMのプロンプトに対する感受性を考察し,複数のプロンプトを活用してより広い探索空間を探索する手法を提案する。 生成したクエリの精度と効率の両面から,BIRD上に新たなSOTA性能を確立する。
  論文  参考訳（メタデータ） (2024-05-13T04:59:32Z)
• Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
  大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
  論文  参考訳（メタデータ） (2023-08-29T14:59:54Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。