論文の概要: BAPPA: Benchmarking Agents, Plans, and Pipelines for Automated Text-to-SQL Generation

• arxiv url: http://arxiv.org/abs/2511.04153v1
• Date: Thu, 06 Nov 2025 08:00:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.353037
• Title: BAPPA: Benchmarking Agents, Plans, and Pipelines for Automated Text-to-SQL Generation
• Title（参考訳）: BAPPA: 自動テキスト-SQL生成のためのベンチマークエージェント、プラン、パイプライン
• Authors: Fahim Ahmed, Md Mubtasim Ahasan, Jahir Sadik Monon, Muntasir Wahed, M Ashraful Amin, A K M Mahbubur Rahman, Amin Ahsan Ali,
• Abstract要約: 既存の大規模言語モデル(LLM)は、大きなスキーマサイズと複雑な推論のために、自然な命令からsqlを生成するのに苦労する。 本研究では,3つのマルチエージェントLPMパイプラインを探索し,小規模から大規模のオープンソースモデルにまたがる系統的なパフォーマンスベンチマークを行う。 Bird-Bench Mini-Dev セットの実験では、マルチエージェントの議論は小さなモデルの性能を向上させることができ、Qwen2.5-7b-Instruct の実行精度は最大10.6%向上した。
• 参考スコア（独自算出の注目度）: 3.2476501707160543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-SQL systems provide a natural language interface that can enable even laymen to access information stored in databases. However, existing Large Language Models (LLM) struggle with SQL generation from natural instructions due to large schema sizes and complex reasoning. Prior work often focuses on complex, somewhat impractical pipelines using flagship models, while smaller, efficient models remain overlooked. In this work, we explore three multi-agent LLM pipelines, with systematic performance benchmarking across a range of small to large open-source models: (1) Multi-agent discussion pipeline, where agents iteratively critique and refine SQL queries, and a judge synthesizes the final answer; (2) Planner-Coder pipeline, where a thinking model planner generates stepwise SQL generation plans and a coder synthesizes queries; and (3) Coder-Aggregator pipeline, where multiple coders independently generate SQL queries, and a reasoning agent selects the best query. Experiments on the Bird-Bench Mini-Dev set reveal that Multi-Agent discussion can improve small model performance, with up to 10.6% increase in Execution Accuracy for Qwen2.5-7b-Instruct seen after three rounds of discussion. Among the pipelines, the LLM Reasoner-Coder pipeline yields the best results, with DeepSeek-R1-32B and QwQ-32B planners boosting Gemma 3 27B IT accuracy from 52.4% to the highest score of 56.4%. Codes are available at https://github.com/treeDweller98/bappa-sql.
• Abstract（参考訳）: Text-to-SQLシステムは、データベースに格納された情報にレイメンでもアクセスできる自然言語インターフェースを提供する。 しかし、既存のLarge Language Models (LLM)は、大きなスキーマサイズと複雑な推論のために、自然な命令からSQLを生成するのに苦労している。 以前の作業では、フラッグシップモデルを使用した複雑な、やや実用的でないパイプラインに焦点を当てることが多いが、より小型で効率的なモデルは見過ごされ続けている。 本研究では,(1)エージェントが反復的にSQLクエリを批判・洗練するマルチエージェント・ディスカッションパイプライン,(2)思考モデルプランナーが段階的にSQL生成計画を生成し,コーダがクエリを合成するプランナー・コーダパイプライン,(3)コーダ・アグリゲータパイプライン,(3)複数のコーダがSQLクエリを独立して生成するコーダ・アグリゲータパイプライン,そして推論エージェントが最適なクエリを選択する。 Bird-Bench Mini-Dev セットの実験では、マルチエージェントの議論は小さなモデルの性能を向上させることができ、Qwen2.5-7b-Instruct の実行精度は最大10.6%向上した。 パイプラインの中では、LLM Reasoner-Coderパイプラインが最高の結果をもたらし、DeepSeek-R1-32BとQwQ-32BプランナーはGemma 3 27B ITの精度を52.4%から56.4%に向上させた。 コードはhttps://github.com/treeDweller98/bappa-sql.comで公開されている。

関連論文リスト

• From Queries to Insights: Agentic LLM Pipelines for Spatio-Temporal Text-to-SQL [8.496933324334167]
  本研究では,MistralをベースとしたRellama-sqlcoder-8bによるオーケストレーションにより,簡単なテキストからActまでのベースライン(Rellama-sqlcoder-8b)を提案する。 ニューヨークと東京のチェックインで35の自然言語クエリを評価し,空間的・時間的マルチデータセット推論について検討した。 このエージェントは、データセット 91.4% 対 28.6% よりもかなり精度が高く、地図によるユーザビリティを高め、自然言語の要約を構造化する。
  論文  参考訳（メタデータ） (2025-10-29T22:18:57Z)
• AGENTIQL: An Agent-Inspired Multi-Expert Framework for Text-to-SQL Generation [0.509780930114934]
  AgentIQLはエージェントにインスパイアされたフレームワークで、質問分解のための推論エージェント、サブクエリ生成のためのコーディングエージェント、列選択のための洗練ステップを組み合わせたものだ。 我々は、Planner&Executorのマージ戦略を用いて、14Bモデルで最大86.07%のEXを達成し、Spiderベンチマークで AgentIQLを評価した。 正確性を超えて、AgentIQLは、中間的推論ステップを公開することによって透明性を高め、セマンティック解析に対する堅牢でスケーラブルで解釈可能なアプローチを提供する。
  論文  参考訳（メタデータ） (2025-10-12T15:35:05Z)
• SING-SQL: A Synthetic Data Generation Framework for In-Domain Text-to-SQL Translation [2.0799061948689306]
  SING-aは、高品質で高カバレッジな合成テキストデータを生成するための、完全に自動化された2段階のフレームワークである。 SING-LMは、合成データに基づいて微調整されたコンパクト言語モデルのファミリーである。
  論文  参考訳（メタデータ） (2025-09-30T02:14:49Z)
• HI-SQL: Optimizing Text-to-SQL Systems through Dynamic Hint Integration [1.3927943269211591]
  テキスト・ツー・ジェネレーションは自然言語とデータベースのギャップを埋め、ユーザーは専門知識を必要とせずにデータをクエリできる。 履歴クエリログを利用した新しいヒント生成機構を組み込んだパイプラインHI-theを提案する。 先行クエリを解析することにより、マルチテーブルおよびネストされた操作の複雑さを扱うことに焦点を当てたコンテキストヒントを生成する。 提案手法は,LCM生成クエリのクエリ精度を大幅に向上し,呼び出しやレイテンシの面で効率性を確保した。
  論文  参考訳（メタデータ） (2025-06-11T12:07:55Z)
• RAISE: Reasoning Agent for Interactive SQL Exploration [47.77323087050061]
  本稿では,スキーマリンク,クエリ生成,反復的改善を1つのエンドツーエンドコンポーネントに統一する新しいフレームワークを提案する。 本手法は、不慣れなデータベースを扱う際に、人間がどう答えるかをエミュレートする。
  論文  参考訳（メタデータ） (2025-06-02T03:07:08Z)
• CHESS: Contextual Harnessing for Efficient SQL Synthesis [1.9506402593665235]
  効率的でスケーラブルなテキスト・ツー・クエリのためのフレームワークであるCHESSを紹介します。 特殊エージェントは4つあり、それぞれが上記の課題の1つをターゲットにしている。 私たちのフレームワークは、さまざまなデプロイメント制約に適応する機能を提供する。
  論文  参考訳（メタデータ） (2024-05-27T01:54:16Z)
• MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL [47.120862170230566]
  最近のText-to-Yourselfメソッドは通常、"巨大な"データベース上での大幅なパフォーマンス劣化に悩まされる。 我々は,新しいテキスト・ツー・ユー・セルフ LLM ベースのマルチエージェント協調フレームワーク MAC を紹介する。 我々のフレームワークでは、GPT-4を全てのエージェントタスクの強力なバックボーンとして利用し、フレームワークの上限を決定する。 次に、Code 7Bを活用することで、オープンソースの命令フォローモデルであるsql-Llamaを微調整し、GPT-4のように全てのタスクを達成します。
  論文  参考訳（メタデータ） (2023-12-18T14:40:20Z)
• DBCopilot: Natural Language Querying over Massive Databases via Schema Routing [47.009638761948466]
  本稿では,DBCopilotについて述べる。DBCopilotは,大規模データベースをルーティングするためのコンパクトで柔軟なコピロットモデルを用いて,課題に対処するフレームワークである。 このフレームワークは、単一の軽量な微分可能な検索インデックスを使用して、大規模データベーススキーマのセマンティックマッピングを構築し、自然言語質問を目的のデータベースやテーブルに関連付け検索方法でナビゲートする。
  論文  参考訳（メタデータ） (2023-12-06T12:37:28Z)
• Proton: Probing Schema Linking Information from Pre-trained Language Models for Text-to-SQL Parsing [66.55478402233399]
  本稿では,ポアンカー距離測定に基づく探索手法を用いて,関係構造を抽出する枠組みを提案する。 スキーマリンクの一般的なルールベース手法と比較して,探索関係は意味的対応をしっかりと捉えることができることがわかった。 我々のフレームワークは3つのベンチマークで最先端のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-06-28T14:05:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。