論文の概要: Cheaper, Better, Faster, Stronger: Robust Text-to-SQL without Chain-of-Thought or Fine-Tuning
- arxiv url: http://arxiv.org/abs/2505.14174v1
- Date: Tue, 20 May 2025 10:28:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-21 14:49:53.064346
- Title: Cheaper, Better, Faster, Stronger: Robust Text-to-SQL without Chain-of-Thought or Fine-Tuning
- Title(参考訳): より清潔で、より速く、より強く、より頑丈なテキストからSQLへ----------------------------------------------------------------------------------
- Authors: Yusuf Denizay Dönder, Derek Hommel, Andrea W Wen-Yi, David Mimno, Unso Eun Seo Jo,
- Abstract要約: N-rep"一貫性は、よりコスト効率のよいテキスト・ツー・タスクのアプローチである。
N-repは、そのコスト範囲で最高のテキスト・ツー・タスク・アプローチである。
- 参考スコア(独自算出の注目度): 2.7146414987751584
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLMs are effective at code generation tasks like text-to-SQL, but is it worth the cost? Many state-of-the-art approaches use non-task-specific LLM techniques including Chain-of-Thought (CoT), self-consistency, and fine-tuning. These methods can be costly at inference time, sometimes requiring over a hundred LLM calls with reasoning, incurring average costs of up to \$0.46 per query, while fine-tuning models can cost thousands of dollars. We introduce "N-rep" consistency, a more cost-efficient text-to-SQL approach that achieves similar BIRD benchmark scores as other more expensive methods, at only \$0.039 per query. N-rep leverages multiple representations of the same schema input to mitigate weaknesses in any single representation, making the solution more robust and allowing the use of smaller and cheaper models without any reasoning or fine-tuning. To our knowledge, N-rep is the best-performing text-to-SQL approach in its cost range.
- Abstract(参考訳): LLMは、text-to-SQLのようなコード生成タスクに有効ですが、その価値はあるのでしょうか?
多くの最先端のアプローチでは、Chain-of-Thought (CoT)、自己整合性、微調整など、非タスク固有のLCM技術を使用している。
これらの手法は推論時にコストがかかり、1クエリあたり平均コストが0.46ドルになるのに対して、微調整モデルは数千ドル以上かかることもある。
N-rep"一貫性は、BIRDベンチマークのスコアと他の高価なメソッドのスコアを1クエリあたり0.039ドル程度で達成する、よりコスト効率のよいテキスト-SQLアプローチである。
N-repは、同じスキーマ入力の複数の表現を活用して、単一の表現の弱点を緩和し、ソリューションをより堅牢にし、推論や微調整なしにより小さく安価なモデルを使用することを可能にします。
我々の知る限り、N-repはそのコスト範囲で最高のパフォーマンスのテキスト-SQLアプローチです。
関連論文リスト
- Query and Conquer: Execution-Guided SQL Generation [2.07180164747172]
本稿では,テキスト・ツー・タスクの精度を大幅に向上させる複雑な出力を生成する新しい手法を提案する。
提案手法は,複数の候補から最もセマンティックに一貫性のあるクエリを選択するために,実行結果を活用する。
論文 参考訳(メタデータ) (2025-03-31T17:43:36Z) - Towards Optimizing SQL Generation via LLM Routing [10.586036551269935]
大規模言語モデル(LLM)は複雑なクエリに対して高い精度を達成するが、より単純なクエリでは不要なレイテンシとコストがかかる。
クエリ毎に最もコスト効率の良いLCMを動的に選択するText-to-sqlに対して,最初のLLMルーティング手法を提案する。
コスト削減を図りながら、最も有能なLCMに匹敵する精度を実現する2つのルーティング戦略を提案する。
論文 参考訳(メタデータ) (2024-11-06T23:47:54Z) - RSL-SQL: Robust Schema Linking in Text-to-SQL Generation [51.00761167842468]
本稿では、双方向スキーマリンク、コンテキスト情報拡張、バイナリ選択戦略、マルチターン自己補正を組み合わせたRSLと呼ばれる新しいフレームワークを提案する。
ベンチマークの結果,オープンソースのソリューション間でのSOTA実行精度は67.2%,BIRDは87.9%,GPT-4オクルージョンは87.9%であった。
提案手法は,DeepSeekを同一のプロンプトで適用した場合,GPT-4ベースのテキスト・ツー・シークシステムよりも優れている。
論文 参考訳(メタデータ) (2024-10-31T16:22:26Z) - PTD-SQL: Partitioning and Targeted Drilling with LLMs in Text-to-SQL [54.304872649870575]
大規模言語モデル(LLM)は、テキスト・トゥ・センス・タスクの強力なツールとして登場した。
本研究では,クエリグループパーティショニングを用いることで,単一問題に特有の思考プロセスの学習に集中できることを示す。
論文 参考訳(メタデータ) (2024-09-21T09:33:14Z) - SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data [54.69489315952524]
Prompt"は、Text-to-LLMのいくつかのショットプロンプト機能を改善するように設計されている。
Prompt"は、ラベル付きデータが少なく、テキスト内学習における従来のアプローチよりも大きなマージンで優れている。
emphPromptはテキスト内学習における従来の手法よりも優れており,ラベル付きデータはほとんどない。
論文 参考訳(メタデータ) (2023-11-06T05:24:06Z) - ACT-SQL: In-Context Learning for Text-to-SQL with
Automatically-Generated Chain-of-Thought [24.1320473171017]
大規模言語モデル(LLM)は、様々なドメインやタスクにおいて強力な能力を持つことが証明されている。
我々は、スキーマリンクに類似した方法で、チェーン・オブ・シンクレット(CoT)プロンプトを設計する。
我々は、テキストからテキストへのマルチターンタスクにコンテキスト内学習手法を拡張した。
論文 参考訳(メタデータ) (2023-10-26T12:16:25Z) - Benchmarking and Improving Text-to-SQL Generation under Ambiguity [25.283118418288293]
我々はAmbiQTと呼ばれる新しいベンチマークを開発し、各テキストは語彙的および/または構造的あいまいさのために2つのもっともらしいSQLとして解釈できる。
提案するLogicalBeamは,計画ベースのテンプレート生成と制約付きインフィルを併用して,sql論理空間をナビゲートする新しい復号アルゴリズムである。
論文 参考訳(メタデータ) (2023-10-20T17:00:53Z) - JoinGym: An Efficient Query Optimization Environment for Reinforcement
Learning [58.71541261221863]
結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。
木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。
JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
論文 参考訳(メタデータ) (2023-07-21T17:00:06Z) - UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。
公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。
広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
論文 参考訳(メタデータ) (2023-05-25T17:19:52Z) - Exploring Chain-of-Thought Style Prompting for Text-to-SQL [20.3340684210894]
大規模言語モデル(LLM)を用いたインコンテキスト学習は、様々なタスクにおいて、より優れた数ショットのパフォーマンスのため、最近注目を集めている。
我々は,思考の連鎖(CoT)スタイルのプロンプトを通じてLLMの推論能力を高める方法について検討した。
論文 参考訳(メタデータ) (2023-05-23T16:32:36Z) - How to Query An Oracle? Efficient Strategies to Label Data [59.89900843097016]
機械学習におけるデータセットのラベル付けに専門家の託宣を照会する際の基本的な問題について考察する。
本稿では,サンプルをラベル付けするために,ラウンド・バイ・ラウンドでランダム化されたバッチアルゴリズムを提案し,クエリレートが$O(fracNk2)$であることを示す。
さらに,適応型グリージークエリ方式を提案し,三重項クエリを用いたサンプルあたり平均$approx 0.2N$クエリを実現する。
論文 参考訳(メタデータ) (2021-10-05T20:15:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。