論文の概要: Exploring Chain-of-Thought Style Prompting for Text-to-SQL
- arxiv url: http://arxiv.org/abs/2305.14215v2
- Date: Fri, 27 Oct 2023 15:21:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-30 18:05:53.285293
- Title: Exploring Chain-of-Thought Style Prompting for Text-to-SQL
- Title（参考訳）: テキストからSQLへのチェーン型プロンプトの探索
- Authors: Chang-You Tai, Ziru Chen, Tianshu Zhang, Xiang Deng and Huan Sun
- Abstract要約: 大規模言語モデル(LLM)を用いたインコンテキスト学習は、様々なタスクにおいて、より優れた数ショットのパフォーマンスのため、最近注目を集めている。
我々は,思考の連鎖(CoT)スタイルのプロンプトを通じてLLMの推論能力を高める方法について検討した。
- 参考スコア（独自算出の注目度）: 20.3340684210894
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In-context learning with large language models (LLMs) has recently caught
increasing attention due to its superior few-shot performance on various tasks.
However, its performance on text-to-SQL parsing still has much room for
improvement. In this paper, we hypothesize that a crucial aspect of LLMs to
improve for text-to-SQL parsing is their multi-step reasoning ability. Thus, we
systematically study how to enhance LLMs' reasoning ability through chain of
thought (CoT) style prompting, including the original chain-of-thought
prompting (Wei et al., 2022b) and least-to-most prompting (Zhou et al., 2023).
Our experiments demonstrate that iterative prompting as in Zhou et al. (2023)
may be unnecessary for text-to-SQL parsing, and using detailed reasoning steps
tends to have more error propagation issues. Based on these findings, we
propose a new CoT-style prompting method for text-to-SQL parsing. It brings 5.2
and 6.5 point absolute gains on the Spider development set and the Spider
Realistic set, respectively, compared to the standard prompting method without
reasoning steps; 2.4 and 1.5 point absolute gains, compared to the
least-to-most prompting method.
- Abstract（参考訳）: 大規模言語モデル(llms)を用いたコンテキスト内学習は、様々なタスクにおいて優れた少数ショットパフォーマンスのため、最近注目を集めている。
しかし、テキストからsqlへのパースのパフォーマンスは改善の余地がある。
本稿では,LLMのテキスト-SQL解析における重要な側面が多段階推論能力である,という仮説を立てる。
そこで我々は,思考の連鎖(CoT)スタイルのプロンプト(Wei et al.,2022b)や最短のプロンプト(Zhou et al.,2023)などを通じて,LLMの推論能力を高める方法を体系的に研究した。
Zhouら(2023)のような反復的なプロンプトは、テキストからSQLへのパースには不要であり、詳細な推論手順を使用すると、よりエラーの伝播の問題が発生する傾向にある。
そこで本研究では,テキストからSQLへの解析のための新しいCoTスタイルのプロンプト手法を提案する。
クモの現像集合とクモの写実的集合にそれぞれ5.2ポイントと6.5ポイントの絶対ゲインをもたらし、推理段階のない標準プロンプト法と比べて2.4ポイントと1.5ポイントの絶対ゲインをもたらす。
関連論文リスト
- STaR-SQL: Self-Taught Reasoner for Text-to-SQL [20.719165038519744]
チェーンオブ思考」の理論的根拠は、複雑な推論タスクにおける大規模言語モデルの性能向上に有効であることが証明されている。
テキスト駆動のような構造化されたタスクにそのようなテクニックを適用することは、ほとんど探索されていない。
本稿では、クエリ生成を推論プロセスとして再編成する新しいアプローチである、テキスト駆動型セルフトレーサ(STaR-)を提案する。
挑戦的なスパイダーベンチマークの実験結果によると、STaR-はテキストからパフォーマンスを大幅に改善し、86.6%の精度を実現している。
これらの知見は、推論強化トレーニングの可能性を強調している。
論文 参考訳（メタデータ） (2025-02-19T08:58:44Z) - RSL-SQL: Robust Schema Linking in Text-to-SQL Generation [51.00761167842468]
本稿では、双方向スキーマリンク、コンテキスト情報拡張、バイナリ選択戦略、マルチターン自己補正を組み合わせたRSLと呼ばれる新しいフレームワークを提案する。
ベンチマークの結果,オープンソースのソリューション間でのSOTA実行精度は67.2%,BIRDは87.9%,GPT-4オクルージョンは87.9%であった。
提案手法は,DeepSeekを同一のプロンプトで適用した場合,GPT-4ベースのテキスト・ツー・シークシステムよりも優れている。
論文 参考訳（メタデータ） (2024-10-31T16:22:26Z) - KeyInst: Keyword Instruction for Improving SQL Formulation in Text-to-SQL [0.5755004576310334]
KeyInstは、最後のクエリの一部である可能性が高いピボットキーワードに関するガイダンスを提供する。
SQLの定式化評価に特化して設計されたベンチマークであるStrucQLを開発した。
論文 参考訳（メタデータ） (2024-10-18T02:45:36Z) - SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data [54.69489315952524]
Prompt"は、Text-to-LLMのいくつかのショットプロンプト機能を改善するように設計されている。
Prompt"は、ラベル付きデータが少なく、テキスト内学習における従来のアプローチよりも大きなマージンで優れている。
emphPromptはテキスト内学習における従来の手法よりも優れており,ラベル付きデータはほとんどない。
論文 参考訳（メタデータ） (2023-11-06T05:24:06Z) - ACT-SQL: In-Context Learning for Text-to-SQL with
Automatically-Generated Chain-of-Thought [24.1320473171017]
大規模言語モデル(LLM)は、様々なドメインやタスクにおいて強力な能力を持つことが証明されている。
我々は、スキーマリンクに類似した方法で、チェーン・オブ・シンクレット(CoT)プロンプトを設計する。
我々は、テキストからテキストへのマルチターンタスクにコンテキスト内学習手法を拡張した。
論文 参考訳（メタデータ） (2023-10-26T12:16:25Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳（メタデータ） (2023-05-26T21:39:05Z) - UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。
公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。
広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
論文 参考訳（メタデータ） (2023-05-25T17:19:52Z) - Divide and Prompt: Chain of Thought Prompting for Text-to-SQL [0.03807314298073299]
CoT(Chain-of-Thought)は,大規模言語モデル(LLM)と組み合わせることで,複雑な推論タスクの促進的な結果が得られた。
本稿では,まずタスクをサブタスクに分割し,次にCoTを介して各サブタスクにアプローチするDivide-and-Promptを提案する。
論文 参考訳（メタデータ） (2023-04-23T06:52:35Z) - Towards Generalizable and Robust Text-to-SQL Parsing [77.18724939989647]
本稿では,タスク分解,知識獲得,知識構成からなる新しいTKKフレームワークを提案する。
このフレームワークは,Spider,SParC,Co.データセット上でのすべてのシナリオと最先端のパフォーマンスに有効であることを示す。
論文 参考訳（メタデータ） (2022-10-23T09:21:27Z) - S$^2$SQL: Injecting Syntax to Question-Schema Interaction Graph Encoder
for Text-to-SQL Parsers [66.78665327694625]
テキスト-関係解析のための質問-エンコーダグラフに構文を注入するS$2$を提案する。
また、疎結合制約を用いて多様なエッジ埋め込みを誘導し、ネットワークの性能をさらに向上させる。
スパイダーとロバスト性設定の実験は、提案手法が事前学習モデルを使用する場合、既存のすべての手法より優れていることを示した。
論文 参考訳（メタデータ） (2022-03-14T09:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。