論文の概要: PLSQLBench: Benchmarking LLM Systems for Executable Procedural Database Programming
- arxiv url: http://arxiv.org/abs/2608.15931v1
- Date: Sun, 16 Aug 2026 21:03:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.473356
- Title: PLSQLBench: Benchmarking LLM Systems for Executable Procedural Database Programming
- Title(参考訳): PLSQLBench:実行可能な手続き型データベースプログラミングのためのLLMシステムのベンチマーク
- Abstract要約: 本稿では、手続き型データベースプログラマが実行可能なPL/プログラムを書けるかどうかを評価するための最初のベンチマークであるPLBenchを紹介する。
PLBenchには2,865のインスタンスが含まれている。
8つのLCMを用いた実験では、基底スキーマ、PL/方言の忠実度、手続き制御フロー、例外ハンドリング、旋回整合性の繰り返し困難が明らかになった。
- 参考スコア(独自算出の注目度): 36.429232918824816
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present PLSQLBench, to our knowledge the first benchmark for evaluating whether LLMs can write executable PL/SQL programs, with correctness measured through execution-based tests. Existing LLM evaluations largely target general-purpose code generation or declarative text-to-SQL, leaving procedural database programming underexplored. PLSQLBench contains 2,865 instances: 2,594 single-turn tasks and 271 multi-turn conversations spanning 978 turns. The benchmark combines complex schema-grounded tasks over enterprise-style Spider 2 databases, simpler schema-grounded tasks derived from Spider, and MBPP-derived procedural problems, covering varying levels of database grounding and procedural complexity. Experiments with eight LLMs reveal recurring difficulties in schema grounding, PL/SQL dialect fidelity, procedural control flow, exception handling, and cross-turn consistency. Tool-augmented LLM agents improve performance on several schema-grounded evaluations, although substantial gaps remain. These results highlight procedural database programming capabilities not directly assessed by conventional code generation or text-to-SQL benchmarks. Our code is available at https://github.com/oracle-samples/plsqlbench.
- Abstract(参考訳): PLSQLBenchは、PL/SQLプログラムを実行可能なプログラムで書けるかどうかを評価するための最初のベンチマークとなる。
既存のLCM評価は主に汎用コード生成や宣言型テキストからSQLへのターゲットであり、手続き型データベースプログラミングは未探索のままである。
PLSQLBenchには2,865のインスタンスが含まれている。
このベンチマークでは、エンタープライズスタイルのSpider 2データベース上の複雑なスキーマ基底タスク、Spiderから派生した単純なスキーマ基底タスク、MBPP由来の手続き的問題を組み合わせて、データベース基底のさまざまなレベルと手続き的複雑さをカバーしている。
8つのLCMを用いた実験では、スキーマのグラウンディング、PL/SQL方言の忠実度、手続き制御フロー、例外ハンドリング、ターン間の一貫性の繰り返し困難が明らかになった。
ツール拡張LDMエージェントは、いくつかのスキーマグラウンド評価のパフォーマンスを向上するが、大きなギャップは残る。
これらの結果は、従来のコード生成やテキスト・トゥ・SQLベンチマークでは直接評価されない手続き型データベースプログラミング機能を強調している。
私たちのコードはhttps://github.com/oracle-samples/plsqlbench.comから入手可能です。
関連論文リスト
- ProcArena: A Multi-Scenario Benchmark for LLMs on Direct and Interactive PL/SQL Development from Natural Language [16.41767308840834]
ProcArenaは、ダイレクトモードとインタラクティブモードの両方をカバーする実行ベースのベンチマークである。
平均スコアは62.2%と57.8%に過ぎず、現実的なNL-to-PL/開発は依然として困難である。
論文 参考訳(メタデータ) (2026-09-06T10:47:47Z) - LitE-SQL: A Lightweight and Efficient Text-to-SQL Framework with Vector-based Schema Linking and Execution-Guided Self-Correction [5.123751486259634]
2つのコンポーネントを持つ軽量で効率的なフレームワークLitE-を紹介します。
BIRDでは、LitE-は72.10%の実行精度を達成し、Spiderでは88.45%に達し、Retrieverと同等または優れたパフォーマンスを示している。
以上の結果から,高品質のテキスト・トゥ・コレクション・ジェネレーションは軽量モデルで実現可能であり,プライバシに敏感かつリソース制約のある設定に実用的なソリューションを提供することがわかった。
論文 参考訳(メタデータ) (2025-10-10T05:27:47Z) - JOLT-SQL: Joint Loss Tuning of Text-to-SQL with Confusion-aware Noisy Schema Sampling [4.1639105158648695]
JOLT-nativeはテキスト間マッピングのための単一ステージフレームワークである。
JOLT-rimiは、混乱を意識したノイズの多いスキーマサンプリング戦略とともに、局所的な双方向の注意によって強化された離散スキーマリンクを採用している。
JOLT-rimiは、同等サイズのオープンソースモデル間で最先端の実行精度を実現する。
論文 参考訳(メタデータ) (2025-05-20T12:55:10Z) - Can the Rookies Cut the Tough Cookie? Exploring the Use of LLMs for SQL Equivalence Checking [15.42143912008553]
クエリ等価性チェックのためのSQLEquiQuestという,新しい,現実的で,十分に複雑なベンチマークを導入する。
我々は,様々なプロンプト戦略とテキスト内学習例を用いて,最先端のLLMを評価した。
解析の結果,LLMは等価性予測に強いバイアスを示し,非等価性対に対する性能は一貫して劣っていることがわかった。
論文 参考訳(メタデータ) (2024-12-07T06:50:12Z) - PTD-SQL: Partitioning and Targeted Drilling with LLMs in Text-to-SQL [54.304872649870575]
大規模言語モデル(LLM)は、テキスト・トゥ・センス・タスクの強力なツールとして登場した。
本研究では,クエリグループパーティショニングを用いることで,単一問題に特有の思考プロセスの学習に集中できることを示す。
論文 参考訳(メタデータ) (2024-09-21T09:33:14Z) - BEAVER: An Enterprise Benchmark for Text-to-SQL [5.984348784381797]
既存のテキスト・トゥ・ザ・シェルフのベンチマークは、主に人為的な質問対を持つWebテーブルから構築されている。
これは、実際のプライベートなエンタープライズデータウェアハウスからソースされた最初のエンタープライズ向けテキスト・トゥ・ザ・シェルフ・ベンチマークです。
論文 参考訳(メタデータ) (2024-09-03T16:37:45Z) - Relational Database Augmented Large Language Model [59.38841050766026]
大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。
彼らは、トレーニングや教師付き微調整プロセスを通じてのみ、新しい知識を取り入れることができる。
この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
論文 参考訳(メタデータ) (2024-07-21T06:19:10Z) - RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。
In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。
実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2024-07-11T08:19:58Z) - PET-SQL: A Prompt-Enhanced Two-Round Refinement of Text-to-SQL with Cross-consistency [19.067737007347613]
スパイダーベンチマークで新しいSOTA結果が得られ、実行精度は87.6%である。
提案手法は, 87.6%の精度で, スパイダーベンチマークで新しいSOTA結果が得られる。
論文 参考訳(メタデータ) (2024-03-13T02:32:41Z) - Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
論文 参考訳(メタデータ) (2023-08-29T14:59:54Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳(メタデータ) (2023-05-26T21:39:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。