論文の概要: Test-Time Verification for Text-to-SQL via Outcome Reward Models
- arxiv url: http://arxiv.org/abs/2606.30851v1
- Date: Mon, 29 Jun 2026 19:31:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:18.993672
- Title: Test-Time Verification for Text-to-SQL via Outcome Reward Models
- Title（参考訳）: アウトカム・リワードモデルによるテキストからSQLへのテスト時間検証
- Abstract要約: テストタイム検証のためのセマンティックスコアリング機能として,アウトカムモデル(ORM)について検討する。
ORMベースの選択は、実行ベースのBest-of-NとMajority Votingを一貫して上回り、BIRDでは+4.33%、Spiderでは+2.10%となっている。
- 参考スコア（独自算出の注目度）: 16.184651199160882
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Improving the reliability of large language models (LLMs) at inference time is a central challenge in structured reasoning tasks such as Text-to-SQL. Common test-time inference strategies, including Best-of-N sampling and Majority Voting, rely on heuristic signals such as execution success or output frequency, which provide limited semantic discrimination across candidate outputs. In this work, we study Outcome Reward Models (ORMs) as learned semantic scoring functions for test-time verification in Text-to-SQL. While ORMs have been previously explored for test-time scaling and alignment, their application to structured query generation remains underexplored. We introduce GradeSQL, a scalable framework for training task-specific ORMs via automated candidate generation and execution-based labeling, enabling verifier training without manual annotation. We integrate ORMs into a verification-driven Best-of-N pipeline and evaluate our approach on the BIRD and Spider benchmarks across multiple open-source LLM families. ORM-based selection consistently outperforms execution-based Best-of-N and Majority Voting, with gains of up to +4.33% on BIRD and +2.10% on Spider. We further show that ORMs scale effectively with larger candidate sets and yield stronger improvements on complex queries. Overall, our results demonstrate that ORM-based verification provides a simple, effective, and scalable alternative to heuristic test-time selection strategies for Text-to-SQL. Code datasets and models are publicly available.
- Abstract（参考訳）: 推論時に大きな言語モデル(LLM)の信頼性を向上させることは、Text-to-SQLのような構造化推論タスクにおいて重要な課題である。
Best-of-NサンプリングやMajority Votingなどの一般的なテスト時間推論戦略は、実行の成功や出力頻度といったヒューリスティックな信号に依存しており、候補出力間のセマンティックな区別が限定されている。
本研究では,テキストからSQLへのテスト時間検証のためのセマンティックスコアリング機能として,ORM(Outcome Reward Models)について検討する。
ORMは以前、テスト時のスケーリングとアライメントのために検討されてきたが、構造化されたクエリ生成への応用はまだ未検討である。
GradeSQLは、自動候補生成と実行ベースのラベル付けを通じてタスク固有のORMをトレーニングするためのスケーラブルなフレームワークで、手動のアノテーションなしで検証者によるトレーニングを可能にする。
ORMを検証駆動のBest-of-Nパイプラインに統合し、複数のオープンソースLLMファミリにわたるBIRDとSpiderベンチマークに対するアプローチを評価します。
ORMベースの選択は、実行ベースのBest-of-NとMajority Votingを一貫して上回り、BIRDでは+4.33%、Spiderでは+2.10%となっている。
さらに、ORMは、より大きな候補セットで効果的にスケールし、複雑なクエリに対してより強力な改善をもたらすことを示す。
全体として、ORMベースの検証は、Text-to-SQLのヒューリスティックなテスト時間選択戦略に、シンプルで効果的でスケーラブルな代替手段を提供することを示した。
コードデータセットとモデルが公開されている。
関連論文リスト
- Spider 2.0-AIFunc: Extending Real-World Text-to-SQL to AI-Native SQL Workflows [54.49251107006261]
我々はSpider 2.0-AIFuncを紹介した。これは、Snowflakeプラットフォーム上の6種類のAI機能をカバーする125の現実世界データベースにわたる465の検証済みインスタンスのベンチマークである。
最強のプロプライエタリモデルは67-70%の精度で実行でき、最高のオープンソースモデルは58.1%に達する。
論文 参考訳（メタデータ） (2026-07-07T12:54:08Z) - GradeSQL: Test-Time Inference with Outcome Reward Models for Text-to-SQL Generation from Large Language Models [16.184651199160882]
Outcome Reward Models(ORM)は、意味的正確性に基づいて生成された出力にユーティリティスコアを割り当てます。
我々は、Text-to-Spiderタスクに適したORMをトレーニングするための統一的なフレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-01T09:47:35Z) - RAG over Tables: Hierarchical Memory Index, Multi-Stage Retrieval, and Benchmarking [63.253294691180635]
現実世界のシナリオでは、純粋なテキスト以外では、かなりの量の知識がテーブルに格納される。
まず、階層型メモリインデックス、多段階検索、グラフ認識プロンプトからなるテーブルコーパス対応RAGフレームワークT-RAGを提案する。
論文 参考訳（メタデータ） (2025-04-02T04:24:41Z) - Bridging the Gap: Enabling Natural Language Queries for NoSQL Databases through Text-to-NoSQL Translation [25.638927795540454]
自然言語クエリをアクセス可能なクエリに変換することを目的としたText-to-Noタスクを導入する。
この分野での研究を促進するために、我々はTEND(Text-to-Noデータセットのショートインターフェース)という、このタスクのための大規模かつオープンソースのデータセットをリリースした。
また,SLM(Small Language Model)支援とRAG(Retrieval-augmented Generation)支援の多段階フレームワークSMARTを設計した。
論文 参考訳（メタデータ） (2025-02-16T17:01:48Z) - CHASE-SQL: Multi-Path Reasoning and Preference Optimized Candidate Selection in Text-to-SQL [9.47170756607886]
CHASE-は、マルチエージェントモデリングにおけるテスト時間計算を用いて、候補生成と選択を改善する革新的な戦略を利用する新しいフレームワークである。
最適な候補を特定するために、選別エージェントを用いて、微調整された二項候補選択LLMとのペア比較により候補をランク付けする。
提案したCHASE-は、BIRD Text-to- datasetベンチマークのテストセットと開発セットにおいて、73.0%と73.01%の最先端実行精度を実現している。
論文 参考訳（メタデータ） (2024-10-02T18:41:35Z) - RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。
In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。
実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2024-07-11T08:19:58Z) - UQE: A Query Engine for Unstructured Databases [71.49289088592842]
構造化されていないデータ分析を可能にするために,大規模言語モデルの可能性を検討する。
本稿では,非構造化データ収集からの洞察を直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。
論文 参考訳（メタデータ） (2024-06-23T06:58:55Z) - MCS-SQL: Leveraging Multiple Prompts and Multiple-Choice Selection For Text-to-SQL Generation [10.726734105960924]
大規模言語モデル(LLM)は、テキストからタスクへの微調整アプローチを大幅に上回る、ICL(In-context Learning)ベースの手法を実現している。
本研究は,LLMのプロンプトに対する感受性を考察し,複数のプロンプトを活用してより広い探索空間を探索する手法を提案する。
生成したクエリの精度と効率の両面から,BIRD上に新たなSOTA性能を確立する。
論文 参考訳（メタデータ） (2024-05-13T04:59:32Z) - Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
論文 参考訳（メタデータ） (2023-08-29T14:59:54Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳（メタデータ） (2023-05-26T21:39:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。