論文の概要: Reward-SQL: Boosting Text-to-SQL via Stepwise Reasoning and Process-Supervised Rewards

• arxiv url: http://arxiv.org/abs/2505.04671v2
• Date: Sun, 18 May 2025 03:32:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.646121
• Title: Reward-SQL: Boosting Text-to-SQL via Stepwise Reasoning and Process-Supervised Rewards
• Title（参考訳）: Reward-SQL: ステップワイズ推論とプロセススーパービジョンによるText-to-SQLの強化
• Authors: Yuxin Zhang, Meihao Fan, Ju Fan, Mingyang Yi, Yuyu Luo, Jian Tan, Guoliang Li,
• Abstract要約: 外的プロセス・リワード・モデル(PRM)は、微粒な監督を提供するために訓練中に導入することができる。 本稿では,テキスト・ツー・ザ・ライティング・プロセスにPRMを効果的に組み込む方法について検討するフレームワークであるReward-BIRDを提案する。
• 参考スコア（独自算出の注目度）: 25.810871864483076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large language models (LLMs) have significantly improved performance on the Text-to-SQL task by leveraging their powerful reasoning capabilities. To enhance accuracy during the reasoning process, external Process Reward Models (PRMs) can be introduced during training and inference to provide fine-grained supervision. However, if misused, PRMs may distort the reasoning trajectory and lead to suboptimal or incorrect SQL generation. To address this challenge, we propose Reward-SQL, a framework that systematically explores how to incorporate PRMs into the Text-to-SQL reasoning process effectively. Our approach follows a "cold start, then PRM supervision" paradigm. Specifically, we first train the model to decompose SQL queries into structured stepwise reasoning chains using common table expressions (Chain-of-CTEs), establishing a strong and interpretable reasoning baseline. Then, we investigate four strategies for integrating PRMs, and find that combining PRM as an online training signal (e.g.,GRPO) with PRM-guided inference (e.g., best-of-N sampling) yields the best results. Empirically, on the BIRD benchmark, Reward-SQL enables models supervised by PRM (7B) to achieve a 13.1% performance gain across various guidance strategies. Notably, our GRPO-aligned policy model based on Qwen2.5-Coder-7B-Instruct achieves 68.9% accuracy on the BIRD development set, outperforming all baseline methods under the same model size. These results demonstrate the effectiveness of Reward-SQL in leveraging reward-based supervision for Text-to-SQL reasoning.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、その強力な推論機能を活用することで、Text-to-SQLタスクのパフォーマンスを大幅に改善している。 推論過程における精度を高めるため、トレーニングや推論中に外部プロセスリワードモデル(PRM)を導入し、きめ細かい監督を提供する。 しかし、もし誤用された場合、PRMは推論軌跡を歪め、最適でないSQL生成につながる可能性がある。 この課題に対処するために,テキストからSQLへの推論プロセスにPRMを効果的に組み込む方法を体系的に検討するフレームワークであるReward-SQLを提案する。 私たちのアプローチは、"コールドスタート、次にPRMの監督"パラダイムに従っています。 具体的には、まず、SQLクエリを共通テーブル式(Chain-of-CTE)を使用して、構造化されたステップワイズ推論チェーンに分解するようにモデルを訓練し、強力で解釈可能な推論ベースラインを確立する。 次に, PRMをオンライントレーニング信号(eg,GRPO)として組み合わせることと, PRM誘導推論(eg, best-of-N sample)とを組み合わせることで, 最良の結果が得られることを示す。 実証的には、BIRDベンチマークにおいて、Reward-SQLはPRM (7B) が監督するモデルが様々なガイダンス戦略で13.1%のパフォーマンス向上を達成することを可能にする。 特に、Qwen2.5-Coder-7B-Instructに基づくGRPO対応ポリシーモデルでは、BIRD開発セット上で68.9%の精度を実現し、同じモデルサイズで全てのベースライン手法を上回ります。 これらの結果は、テキストからSQLへの推論における報酬に基づく監視を活用する上で、Reward-SQLの有効性を示す。

関連論文リスト

• ReasonFlux-PRM: Trajectory-Aware PRMs for Long Chain-of-Thought Reasoning in LLMs [56.32212611983997]
  本稿では,新しいトラジェクトリ対応PRMであるReasonFlux-PRMを紹介し,トラジェクトリ応答型推論トレースの評価を行う。 ReasonFlux-PRMはステップレベルとトラジェクトリレベルの両方の監視機能を備えており、構造化された連鎖データと整合した微粒な報酬割り当てを可能にする。 得られたReasonFlux-PRM-7Bは、教師付き微調整で平均12.1%、強化学習で4.5%、テスト時間スケーリングで6.3%向上した。
  論文  参考訳（メタデータ） (2025-06-23T17:59:02Z)
• Discriminative Policy Optimization for Token-Level Reward Models [55.98642069903191]
  プロセス報酬モデル(PRM)は、結果報酬モデル(ORM)と比較して、よりきめ細かい監督を提供する。 Q-RMは、微粒なアノテーションに頼ることなく、優先データからトークンレベルのQ関数を明示的に学習する。 Q-RMによる強化学習は、トレーニング効率を大幅に向上させ、GSM8KでのORMの12倍、MATHでのステップレベルPRMの11倍の収束を実現した。
  論文  参考訳（メタデータ） (2025-05-29T11:40:34Z)
• DreamPRM: Domain-Reweighted Process Reward Model for Multimodal Reasoning [33.574626079343936]
  マルチモーダルPRMのためのドメイン重み付けトレーニングフレームワークであるDreamPRMを紹介する。 低レベルの最適化では、DreamPRMはドメイン重み付き複数のデータセットで微調整を行う。 上位レベルの最適化では、PRMは別個のメタ学習データセットで評価される。
  論文  参考訳（メタデータ） (2025-05-26T17:20:17Z)
• Beyond the First Error: Process Reward Models for Reflective Mathematical Reasoning [49.21525229904197]
  本研究では,長いCoT推論プロセスのスコアリングに特化して設計されたPRMのための新しいデータアノテーション手法を提案する。 本稿では, 誤り伝播と誤認識の概念を導入し, PRMの効果的な自己訂正行動と誤ったステップに基づく推論の両方を識別する能力を高めた。 我々のPRMは,探索誘導,BoN,F1スコアなど,様々な指標で優れた性能を実現している。
  論文  参考訳（メタデータ） (2025-05-20T14:12:05Z)
• ReEx-SQL: Reasoning with Execution-Aware Reinforcement Learning for Text-to-SQL [21.29343406227956]
  実行フィードバックは、大規模言語モデルを正確に推論し、信頼性の高いクエリを生成するために不可欠である。 既存の方法は、修正や選択のためのポストホック信号としてのみ実行フィードバックを処理し、生成プロセスに統合することができない。 本稿では,ReEx-Reasoningを提案する。ReEx-Reasoningは,デコード中にモデルがデータベースと対話し,実行フィードバックに基づいて推論を動的に調整できるフレームワークである。
  論文  参考訳（メタデータ） (2025-05-19T06:46:47Z)
• Graph-Reward-SQL: Execution-Free Reinforcement Learning for Text-to-SQL via Graph Matching and Stepwise Reward [15.448159172903138]
  テキスト・ツー・タスクにおける大規模言語モデル(LLM)の性能向上のために,強化学習(RL)が広く採用されている。 既存の方法は、実行ベースやLLMベースのBradley-Terry報酬モデルに依存していることが多い。 本稿では,GMNScore結果報酬モデルを用いたテキスト・ツー・RLファインチューニングフレームワークであるGraph-Reward-Rewardを提案する。
  論文  参考訳（メタデータ） (2025-05-18T11:53:01Z)
• Sparks of Tabular Reasoning via Text2SQL Reinforcement Learning [0.12289361708127876]
  この研究は、Text-to-the-taskを、大規模言語モデル(LLM)にデータの推論と操作を教えるための経路として再構成した。 本稿では,テーブルフィールドをトラバースし,フィルタし,集約する方法をモデルに教える2段階フレームワークを提案する。 提案手法は,BIRD や CRT-QA などの推論集約型データセットに対して,理論的に有意な向上を実現している。
  論文  参考訳（メタデータ） (2025-04-23T19:02:04Z)
• Reasoning-SQL: Reinforcement Learning with SQL Tailored Partial Rewards for Reasoning-Enhanced Text-to-SQL [13.215512957681185]
  既存のアプローチはしばしば、その全体的な効果を制限する誘導バイアスを持つ手作りの推論パスに依存している。 OpenAI o1のような最近の推論強化モデルの成功に触発されて、テキスト・ツー・サーベイ・タスクに特化して設計された、新たな部分報酬セットを提案する。 提案した報酬を用いたRL-onlyトレーニングは,教師付き微調整よりも高い精度と優れた一般化を継続的に達成できることを実証する。
  論文  参考訳（メタデータ） (2025-03-29T17:29:30Z)
• R-PRM: Reasoning-Driven Process Reward Modeling [53.06844294668382]
  プロセス・リワード・モデル(Process Reward Models, PRM)は、各推論ステップを評価することによって、有望なソリューションとして登場した。 既存のPRMは評価スコアを直接出力し、学習効率と評価精度の両方を制限する。 推論駆動プロセスリワードモデリング(R-PRM)を提案する。 R-PRMは限られたアノテーションからシードデータを生成し、効果的にモデルの推論能力をブートストラップします。
  論文  参考訳（メタデータ） (2025-03-27T09:23:08Z)
• ExCoT: Optimizing Reasoning for Text-to-SQL with Execution Feedback [49.21833666405111]
  大規模言語モデル(LLM)は、多くの推論タスクにおいて優れているが、Chain-of-Thought(CoT)推論を活用する能力はいまだに未定である。 我々は,オープンソース LLM を反復的に最適化する新しいフレームワークである ExCoT を提案する。
  論文  参考訳（メタデータ） (2025-03-25T18:17:36Z)
• VisualPRM: An Effective Process Reward Model for Multimodal Reasoning [76.35753243272521]
  既存のマルチモーダル大言語モデル(MLLM)の推論能力を改善するVisualPRMを導入する。 我々のモデルは7つのマルチモーダル推論ベンチマークで5.9ポイントの改善を実現している。 マルチモーダルPRMの評価のために,人間に注釈付きステップワイズラベルを付したベンチマークであるVisualProcessBenchを提案する。
  論文  参考訳（メタデータ） (2025-03-13T12:03:37Z)
• STaR-SQL: Self-Taught Reasoner for Text-to-SQL [20.719165038519744]
  チェーンオブ思考」の理論的根拠は、複雑な推論タスクにおける大規模言語モデルの性能向上に有効であることが証明されている。 テキスト駆動のような構造化されたタスクにそのようなテクニックを適用することは、ほとんど探索されていない。 本稿では、クエリ生成を推論プロセスとして再編成する新しいアプローチである、テキスト駆動型セルフトレーサ(STaR-)を提案する。 挑戦的なスパイダーベンチマークの実験結果によると、STaR-はテキストからパフォーマンスを大幅に改善し、86.6%の精度を実現している。 これらの知見は、推論強化トレーニングの可能性を強調している。
  論文  参考訳（メタデータ） (2025-02-19T08:58:44Z)
• The Lessons of Developing Process Reward Models in Mathematical Reasoning [62.165534879284735]
  Process Reward Models (PRM) は、推論プロセスにおける中間エラーを特定し、緩和することを目的としている。 我々は,モンテカルロ (MC) 推定とLarge Language Models (LLM) を効果的に統合するコンセンサスフィルタリング機構を開発した。 私たちは、既存のオープンソース代替品よりも優れた、最先端のPRMを新たにリリースしています。
  論文  参考訳（メタデータ） (2025-01-13T13:10:16Z)
• Free Process Rewards without Process Labels [55.14044050782222]
  より安価な応答レベルラベルでORMをトレーニングすることで,テキストシンプルなPRMを追加のコストで得ることができることを示す。 我々の暗黙のPRMは、クロスエントロピー(CE)損失でインスタンス化されると、よりデータ効率が良く、命令1回に1回しか応答しない訓練でも生成モデルを改善することができることを示す。
  論文  参考訳（メタデータ） (2024-12-02T21:20:02Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。