論文の概要: MCTS-SQL: Light-Weight LLMs can Master the Text-to-SQL through Monte Carlo Tree Search

• arxiv url: http://arxiv.org/abs/2501.16607v2
• Date: Sun, 03 Aug 2025 10:27:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 14:07:56.083735
• Title: MCTS-SQL: Light-Weight LLMs can Master the Text-to-SQL through Monte Carlo Tree Search
• Title（参考訳）: MCTS-SQL:モンテカルロ木探索による軽量LLMのテキストからSQLへのマスタ
• Authors: Shuozhi Yuan, Limin Chen, Miaomiao Yuan, Jin Zhao,
• Abstract要約: Text-to-OTAは、NLP領域における基本的な課題である。 モンテカルロ木探索を用いた新しいフレームワークMCTS-OTAを提案する。 本稿では,反復中に事前情報を格納するトークンレベルのプレフィックスキャッシュ機構を提案する。
• 参考スコア（独自算出の注目度）: 1.166711394125328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-SQL is a fundamental yet challenging task in the NLP area, aiming at translating natural language questions into SQL queries. While recent advances in large language models have greatly improved performance, most existing approaches depend on models with tens of billions of parameters or costly APIs, limiting their applicability in resource-constrained environments. For real world, especially on edge devices, it is crucial for Text-to-SQL to ensure cost-effectiveness. Therefore, enabling the light-weight models for Text-to-SQL is of great practical significance. However, smaller LLMs often struggle with complicated user instruction, redundant schema linking or syntax correctness. To address these challenges, we propose MCTS-SQL, a novel framework that uses Monte Carlo Tree Search to guide SQL generation through multi-step refinement. Since the light-weight models' weak performance of single-shot prediction, we generate better results through several trials with feedback. However, directly applying MCTS-based methods inevitably leads to significant time and computational overhead. Driven by this issue, we propose a token-level prefix-cache mechanism that stores prior information during iterations, effectively improved the execution speed. Experiments results on the SPIDER and BIRD benchmarks demonstrate the effectiveness of our approach. Using a small open-source Qwen2.5-Coder-1.5B, our method outperforms ChatGPT-3.5. When leveraging a more powerful model Gemini 2.5 to explore the performance upper bound, we achieved results competitive with the SOTA. Our findings demonstrate that even small models can be effectively deployed in practical Text-to-SQL systems with the right strategy.
• Abstract（参考訳）: Text-to-SQLは、自然言語の質問をSQLクエリに変換することを目的とした、NLP領域における基本的な課題である。 大規模言語モデルの最近の進歩はパフォーマンスを大幅に改善しているが、既存のアプローチのほとんどは、数千億のパラメータや高価なAPIを持つモデルに依存しており、リソース制約のある環境での適用性を制限する。 現実世界、特にエッジデバイスでは、Text-to-SQLがコスト効率を確保することが重要です。 したがって、Text-to-SQLの軽量モデルを有効にすることは、非常に実用的に重要である。 しかし、小さなLLMは複雑なユーザー命令、冗長なスキーマリンク、構文の正しさに悩まされることが多い。 これらの課題に対処するため,MCTS-SQLを提案する。MCTS-SQLはモンテカルロ木探索を用いてSQL生成を誘導する新しいフレームワークである。 単発予測の軽量モデルの性能が弱いため、フィードバックによるいくつかの試行を通じてより良い結果が得られる。 しかし、直接MCTSベースの手法を適用すると、必然的にかなりの時間と計算オーバーヘッドが発生する。 本稿では,反復中に事前情報を格納し,実行速度を効果的に向上するトークンレベルのプレフィックスキャッシュ機構を提案する。 SPIDER と BIRD のベンチマークによる実験結果から,本手法の有効性が示された。 オープンソースQwen2.5-Coder-1.5Bの小さなQwen2.5-Coder-1.5Bを用いて,ChatGPT-3.5より優れた性能を示す。 より強力なモデルであるGemini 2.5を活用して、パフォーマンス上界を探索すると、SOTAと競合する結果が得られました。 この結果から,小規模なモデルであっても,適切な戦略で実用的なテキスト-SQLシステムに効果的にデプロイできることが示唆された。

関連論文リスト

• CogniSQL-R1-Zero: Lightweight Reinforced Reasoning for Efficient SQL Generation [1.169202600932732]
  本稿では,強化学習(RL)フレームワークとモデルであるCogni-R1-Zeroを紹介する。 我々は、実行の正しさとフォーマットタグのコンプライアンスに基づく軽量な報酬信号を使用する。 提案手法は,Text2ベンチマーク上での最先端実行精度を実現する。 効率的かつ解釈可能なテキスト・ツー・コード・モデリングのさらなる研究を支援するために、2つのキュレートされたデータセットをリリースする。
  論文  参考訳（メタデータ） (2025-07-08T14:17:07Z)
• Arctic-Text2SQL-R1: Simple Rewards, Strong Reasoning in Text-to-SQL [35.21185734929167]
  提案するArctic-Text2-R1は、RLフレームワークとモデルファミリで、正確で実行可能なsqlを生成するように設計されている。 提案手法は、調整された中間監督と複雑な報酬形成を回避し、安定したトレーニングと最終課題との整合性を促進する。 特に、私たちの7Bモデルは70Bクラスのシステムよりも優れており、フレームワークのスケーラビリティと効率性を強調しています。
  論文  参考訳（メタデータ） (2025-05-22T23:33:47Z)
• STaR-SQL: Self-Taught Reasoner for Text-to-SQL [20.719165038519744]
  チェーンオブ思考」の理論的根拠は、複雑な推論タスクにおける大規模言語モデルの性能向上に有効であることが証明されている。 テキスト駆動のような構造化されたタスクにそのようなテクニックを適用することは、ほとんど探索されていない。 本稿では、クエリ生成を推論プロセスとして再編成する新しいアプローチである、テキスト駆動型セルフトレーサ(STaR-)を提案する。 挑戦的なスパイダーベンチマークの実験結果によると、STaR-はテキストからパフォーマンスを大幅に改善し、86.6%の精度を実現している。 これらの知見は、推論強化トレーニングの可能性を強調している。
  論文  参考訳（メタデータ） (2025-02-19T08:58:44Z)
• OpenSearch-SQL: Enhancing Text-to-SQL with Dynamic Few-shot and Consistency Alignment [6.2089733671434875]
  我々は,テキストからエージェントまでのタスクを,整合性アライメント機構に基づくアライメントモジュールとともに,前処理,抽出,生成,リファインメントの4つの主要なモジュールに分割するOpenSearch-を提案する。 これらの手法はテキスト・ツー・エージェント・タスクにおけるLLMの性能を大幅に向上させた。 実験の結果、OpenSearch-はBIRD開発セットで69.3%、テストセットで72.28%、報酬ベースの効率スコア(R-VES)で69.3で実行精度(EX)を達成した。
  論文  参考訳（メタデータ） (2025-02-19T07:51:50Z)
• SQL-o1: A Self-Reward Heuristic Dynamic Search Method for Text-to-SQL [10.82260429602196]
  SQL-o1は、モデル推論機能を強化するためにエージェントベースのアーキテクチャ上に構築された、自己回帰駆動の検索フレームワークである。 複雑なBirdデータセット上で+10.8の精度向上を実現し、GPT-4ベースのモデルさえ超えている。 オープンソースのLLMにまたがって、強力な数ショットの一般化と堅牢なクロスモデル転送能力を示す。
  論文  参考訳（メタデータ） (2025-02-17T12:28:11Z)
• Learning from Imperfect Data: Towards Efficient Knowledge Distillation of Autoregressive Language Models for Text-to-SQL [83.99974309930072]
  知識蒸留(KD)は、より大規模な教師モデルをより小さな学生モデルに蒸留することを目的とした一般的な手法である。 我々は,不完全なデータ,すなわちKIDを用いてKDを改善することを提案する。 KIDは、すべてのモデルタイプとサイズで一貫した、重要なパフォーマンス向上を達成するだけでなく、トレーニング効率を効果的に向上する。
  論文  参考訳（メタデータ） (2024-10-15T07:51:00Z)
• Enhancing LLM Fine-tuning for Text-to-SQLs by SQL Quality Measurement [1.392448435105643]
  Text-to-sにより、専門家でないユーザは、自然言語クエリを使用してデータベースから要求された情報を取得することができる。 GPT4やT5のような現在の最先端(SOTA)モデルは、BIRDのような大規模ベンチマークで素晴らしいパフォーマンスを示している。 本稿では,テキスト・ツー・ス・パフォーマンスを向上させるためにSQL Qualityのみを必要とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T17:21:51Z)
• E-SQL: Direct Schema Linking via Question Enrichment in Text-to-SQL [1.187832944550453]
  E-Seekは、直接スキーマリンクと候補述語拡張を通じてこれらの課題に対処するように設計された、新しいパイプラインである。 E-Seekは、関連するデータベース項目(テーブル、列、値)と条件を直接質問とsql構築計画に組み込むことで、自然言語クエリを強化し、クエリとデータベース構造の間のギャップを埋める。 総合的な評価は、E-Seekが競争性能、特に66.29%の実行精度で複雑なクエリに優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-25T09:02:48Z)
• PTD-SQL: Partitioning and Targeted Drilling with LLMs in Text-to-SQL [54.304872649870575]
  大規模言語モデル(LLM)は、テキスト・トゥ・センス・タスクの強力なツールとして登場した。 本研究では,クエリグループパーティショニングを用いることで,単一問題に特有の思考プロセスの学習に集中できることを示す。
  論文  参考訳（メタデータ） (2024-09-21T09:33:14Z)
• SelECT-SQL: Self-correcting ensemble Chain-of-Thought for Text-to-SQL [3.422309388045878]
  SelECT-は、チェーン・オブ・シンク、自己補正、アンサンブルの手法をアルゴリズムで組み合わせた、新しいインコンテキスト学習ソリューションである。 具体的には、GPTをベースLLMとして使用する場合、SelECT-Turboはスパイダーリーダーボードの開発セット上で84.2%の実行精度を達成する。
  論文  参考訳（メタデータ） (2024-09-16T05:40:18Z)
• DAC: Decomposed Automation Correction for Text-to-SQL [51.48239006107272]
  De Automation Correction (DAC)を導入し、エンティティリンクとスケルトン解析を分解することでテキストから合成を補正する。 また,本手法では,ベースライン法と比較して,スパイダー,バード,カグルDBQAの平均値が平均3.7%向上することを示した。
  論文  参考訳（メタデータ） (2024-08-16T14:43:15Z)
• RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
  文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。 In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。 実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-07-11T08:19:58Z)
• MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL [47.120862170230566]
  最近のText-to-Yourselfメソッドは通常、"巨大な"データベース上での大幅なパフォーマンス劣化に悩まされる。 我々は,新しいテキスト・ツー・ユー・セルフ LLM ベースのマルチエージェント協調フレームワーク MAC を紹介する。 我々のフレームワークでは、GPT-4を全てのエージェントタスクの強力なバックボーンとして利用し、フレームワークの上限を決定する。 次に、Code 7Bを活用することで、オープンソースの命令フォローモデルであるsql-Llamaを微調整し、GPT-4のように全てのタスクを達成します。
  論文  参考訳（メタデータ） (2023-12-18T14:40:20Z)
• SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data [54.69489315952524]
  Prompt"は、Text-to-LLMのいくつかのショットプロンプト機能を改善するように設計されている。 Prompt"は、ラベル付きデータが少なく、テキスト内学習における従来のアプローチよりも大きなマージンで優れている。 emphPromptはテキスト内学習における従来の手法よりも優れており,ラベル付きデータはほとんどない。
  論文  参考訳（メタデータ） (2023-11-06T05:24:06Z)
• Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
  大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
  論文  参考訳（メタデータ） (2023-08-29T14:59:54Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• Weakly Supervised Text-to-SQL Parsing through Question Decomposition [53.22128541030441]
  我々は最近提案されたQDMR(QDMR)という意味表現を活用している。 質問やQDMR構造(非専門家によって注釈付けされたり、自動予測されたりする)、回答が与えられたら、我々は自動的にsqlクエリを合成できる。 本結果は,NL-ベンチマークデータを用いて訓練したモデルと,弱い教師付きモデルが競合することを示す。
  論文  参考訳（メタデータ） (2021-12-12T20:02:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。