論文の概要: ProcArena: A Multi-Scenario Benchmark for LLMs on Direct and Interactive PL/SQL Development from Natural Language
- arxiv url: http://arxiv.org/abs/2609.06527v1
- Date: Sun, 06 Sep 2026 10:47:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.262199
- Title: ProcArena: A Multi-Scenario Benchmark for LLMs on Direct and Interactive PL/SQL Development from Natural Language
- Title（参考訳）: ProcArena: 自然言語による直接的かつインタラクティブなPL/SQL開発のためのマルチシナリオベンチマーク
- Abstract要約: ProcArenaは、ダイレクトモードとインタラクティブモードの両方をカバーする実行ベースのベンチマークである。
平均スコアは62.2%と57.8%に過ぎず、現実的なNL-to-PL/開発は依然として困難である。
- 参考スコア（独自算出の注目度）: 16.41767308840834
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have shown strong potential for translating natural-language (NL) requirements into PL/SQL programs, attracting increasing attention from the database community. However, existing NL-to-PL/SQL efforts primarily focus on directly generating PL/SQL from complete NL requirements. In practice, PL/SQL development involves diverse scenarios, such as from-scratch development, code modification, debugging, and optimization, and may require either direct generation or multi-turn interaction. Yet, no comprehensive benchmark evaluates multi-scenario, direct and interactive, and multi-dialect NL-to-PL/SQL development. In this paper, we present ProcArena, an execution-based benchmark covering both Direct and Interactive modes. ProcArena comprises 3,998 executable tasks over 157 databases, spanning nine development subscenarios in PostgreSQL and Oracle. We construct challenging Direct tasks through Iterative Logic Enhancement and scenario-specific adapters, and derive paired Interactive tasks through Knowledge Integration and Requirement Perturbation while preserving executable targets. We further design a controlled Solver-User Simulator protocol that allows models to clarify user intent and inspect the database environment without exposing hidden execution feedback. Evaluating seven language models, we find that the best average scores are only 62.2% and 57.8% in Direct and Interactive, respectively, demonstrating that realistic NL-to-PL/SQL development remains challenging, particularly in interactive settings.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語(NL)要求をPL/SQLプログラムに変換する可能性を示し、データベースコミュニティから注目を集めている。
しかし、既存のNL-to-PL/SQLの取り組みは主に、完全なNL要件からPL/SQLを直接生成することに焦点を当てている。
実際には、PL/SQL開発は、オフスクラッチ開発、コード修正、デバッグ、最適化といった多様なシナリオを伴い、直接生成またはマルチターンのインタラクションを必要とする可能性がある。
しかし、マルチシナリオ、ダイレクト、インタラクティブ、マルチダイレクトなNL-to-PL/SQL開発を評価する包括的なベンチマークは存在しない。
本稿では,ダイレクトモードとインタラクティブモードの両方をカバーする実行ベースのベンチマークであるProcArenaを紹介する。
ProcArenaは157のデータベース上で3,998の実行可能なタスクで構成されており、PostgreSQLとOracleの9つの開発サブシナリオにまたがっている。
我々は,反復論理拡張とシナリオ特化アダプタによる挑戦的なダイレクトタスクを構築し,実行可能なターゲットを保ちながら,知識統合と要求摂動を通じてペア化された対話タスクを導出する。
さらに、制御されたソルバー・ユーザ・シミュレータープロトコルを設計し、モデルがユーザ意図を明確にし、隠れた実行フィードバックを隠蔽することなくデータベース環境を検査できるようにする。
7つの言語モデルを評価すると、最高の平均スコアはそれぞれ62.2%と57.8%で、特にインタラクティブな環境では現実的なNL-PL/SQL開発が困難なままであることを示す。
関連論文リスト
- PLSQLBench: Benchmarking LLM Systems for Executable Procedural Database Programming [36.429232918824816]
本稿では、手続き型データベースプログラマが実行可能なPL/プログラムを書けるかどうかを評価するための最初のベンチマークであるPLBenchを紹介する。
PLBenchには2,865のインスタンスが含まれている。
8つのLCMを用いた実験では、基底スキーマ、PL/方言の忠実度、手続き制御フロー、例外ハンドリング、旋回整合性の繰り返し困難が明らかになった。
論文 参考訳（メタデータ） (2026-08-16T21:03:21Z) - Spider 2.0-AIFunc: Extending Real-World Text-to-SQL to AI-Native SQL Workflows [54.49251107006261]
我々はSpider 2.0-AIFuncを紹介した。これは、Snowflakeプラットフォーム上の6種類のAI機能をカバーする125の現実世界データベースにわたる465の検証済みインスタンスのベンチマークである。
最強のプロプライエタリモデルは67-70%の精度で実行でき、最高のオープンソースモデルは58.1%に達する。
論文 参考訳（メタデータ） (2026-07-07T12:54:08Z) - Track-SQL: Enhancing Generative Language Models with Dual-Extractive Modules for Schema and Context Tracking in Multi-turn Text-to-SQL [50.84251174559123]
生成言語モデルの性能は、マルチターンテキストソースと同程度に拡張されない。
マルチターンテキスト・ソースにおけるスキーマとコンテキスト変化を追跡するために設計された二重抽出モジュールを用いた生成言語モデルを強化するトラック-を提案する。
Track-は、データセットでそれぞれ7.1%と9.55%のマルチターンインタラクションの実行精度を大幅に改善する。
論文 参考訳（メタデータ） (2026-03-06T07:57:06Z) - Monte Carlo Tree Search with Reasoning Path Refinement for Small Language Models in Conversational Text-to-NoSQL [20.156191782890797]
本稿では,自然言語質問,データベース,対話履歴を問う問合せを生成するConversational Text-to-Noタスクを提案する。
そこで我々は,クエリ固有の推論機能を備えた小さな言語モデルを実現するフレームワークであるStage-MCTSを提案する。
提案手法は最先端の大規模推論モデルより優れ,実行値の一致精度を最大7.93%向上させる。
論文 参考訳（メタデータ） (2026-02-13T03:35:38Z) - LLM-Based SQL Generation: Prompting, Self-Refinement, and Adaptive Weighted Majority Voting [7.590911146338215]
アンサンブル投票(SSEV)を用いたシングルエージェント自己精製法を提案する。
私たちは、エンタープライズデータベースと現実のText-to-Actタスクの複雑さの増加に対処するために、SSEVパイプラインからの洞察に基づいています。
ReCAPAgent-5.5%は、計画、外部知識検索、批評、行動生成、自己修正、スキーマリンク、結果検証のための特殊エージェントを統合している。
論文 参考訳（メタデータ） (2026-01-25T18:38:58Z) - RAISE: Reasoning Agent for Interactive SQL Exploration [47.77323087050061]
本稿では,スキーマリンク,クエリ生成,反復的改善を1つのエンドツーエンドコンポーネントに統一する新しいフレームワークを提案する。
本手法は、不慣れなデータベースを扱う際に、人間がどう答えるかをエミュレートする。
論文 参考訳（メタデータ） (2025-06-02T03:07:08Z) - E-SQL: Direct Schema Linking via Question Enrichment in Text-to-SQL [1.187832944550453]
E-Seekは、直接スキーマリンクと候補述語拡張を通じてこれらの課題に対処するように設計された、新しいパイプラインである。
E-Seekは、関連するデータベース項目(テーブル、列、値)と条件を直接質問とsql構築計画に組み込むことで、自然言語クエリを強化し、クエリとデータベース構造の間のギャップを埋める。
総合的な評価は、E-Seekが競争性能、特に66.29%の実行精度で複雑なクエリに優れていることを示している。
論文 参考訳（メタデータ） (2024-09-25T09:02:48Z) - LangSuitE: Planning, Controlling and Interacting with Large Language Models in Embodied Text Environments [70.91258869156353]
テキストエンボディの世界における6つの代表的具体的タスクを特徴とする多目的・シミュレーション不要なテストベッドであるLangSuitEを紹介する。
以前のLLMベースのテストベッドと比較すると、LangSuitEは複数のシミュレーションエンジンを使わずに、多様な環境への適応性を提供する。
具体化された状態の履歴情報を要約した新しいチェーン・オブ・ソート(CoT)スキーマであるEmMemを考案する。
論文 参考訳（メタデータ） (2024-06-24T03:36:29Z) - Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
論文 参考訳（メタデータ） (2023-08-29T14:59:54Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳（メタデータ） (2023-05-26T21:39:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。