論文の概要: LASSO: An LLM-Agent Synthesized System for SQL Validation
- arxiv url: http://arxiv.org/abs/2610.38294v1
- Date: Wed, 28 Oct 2026 05:24:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-03 18:21:12.261863
- Title: LASSO: An LLM-Agent Synthesized System for SQL Validation
- Title(参考訳): LASSO:SQLバリデーションのためのLLM-Agent合成システム
- Abstract要約: 大規模言語モデル (LLM) には高度な音声合成機能があるが、生成されたクエリにはエラーがある可能性がある。
テストデータセットはエラーをキャッチするのに重要ですが、1つまたは数つのテストデータセットしか持たないため、多くのバグが検出されません。
本稿では,XData にインスパイアされたフレームワーク LASSO を紹介する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The rise of Large Language Models (LLMs) has significantly advanced text-to-SQL capabilities, but generated queries may have errors. Test datasets are important for catching errors, but having only one or a few test datasets leaves many bugs undetected. Effective testing requires multiple test datasets that can expose subtle semantic bugs and edge cases. Recent work on test data generation and equivalence checking has focused on using constraint solvers. However, constraint-based approaches are slow and not scalable. In this paper, we introduce LASSO, a framework inspired by XData, but designed to minimize the use of constraint solvers, instead prioritizing use of data generation strategies based on fast heuristics. LASSO deploys a number of "attack strategies", each targeting a specific class of semantic errors. LASSO code was built using LLM-based agentic coding. We used carefully designed workflows and rules to support effective code generation and to avoid common code generation issues. A large number of internal test cases are included in LASSO to catch errors in generated code, and more are added when we extend LASSO, to avoid subsequent regressions. Our empirical evaluation across multiple benchmarks demonstrates that LASSO outperforms the state of the art, including XData, SpotIT, ParSEval, and Polygon.
- Abstract(参考訳): LLM(Large Language Models)の台頭は、テキストからSQLまでの能力が大幅に向上しているが、生成されたクエリにはエラーがある可能性がある。
テストデータセットはエラーをキャッチするのに重要ですが、1つまたは数つのテストデータセットしか持たないため、多くのバグが検出されません。
効果的なテストには、微妙なセマンティックバグやエッジケースを公開可能な複数のテストデータセットが必要です。
テストデータ生成と等価性チェックに関する最近の研究は、制約解決器の使用に重点を置いている。
しかし、制約ベースのアプローチは遅く、スケーラブルではない。
本稿では、XDataにインスパイアされたフレームワークLASSOを紹介するが、制約解決器の使用を最小限に抑え、高速ヒューリスティックスに基づくデータ生成戦略の使用を優先する。
LASSOはいくつかの"アタック戦略"をデプロイし、それぞれが特定のセマンティックエラーのクラスをターゲットにしている。
LASSOコードはLLMベースのエージェントコーディングを用いて構築された。
私たちは、効果的なコード生成をサポートし、一般的なコード生成の問題を避けるために、慎重に設計されたワークフローとルールを使用しました。
生成されたコードのエラーをキャッチするために、LASSOには多数の内部テストケースが含まれています。
複数のベンチマークによる実証的な評価は、LASSOがXData、SpotIT、ParSEval、Polygonといった最先端技術よりも優れていることを示している。
関連論文リスト
- LLM-Based Invariant Testing for Software Functional Bugs [4.8632580114281065]
ソフトウェア機能バグに対する新しいLLMベースの不変テストフレームワークであるLISAについて述べる。
LISAは、API n-gramフィードバックによって導かれるAPIシーケンスとプログラム不変量を反復的に生成する。
論文 参考訳(メタデータ) (2026-07-21T05:07:22Z) - Alignment with Fill-In-the-Middle for Enhancing Code Generation [56.791415642365415]
コードスニペットを小さな粒度のブロックに分割し,同じテストケースからより多様なDPOペアを生成する手法を提案する。
提案手法は,HumanEval (+), MBPP (+), APPS, LiveCodeBench, BigCodeBenchといったベンチマークデータセットの実験によって検証された,コード生成タスクの大幅な改善を示す。
論文 参考訳(メタデータ) (2025-08-27T03:15:53Z) - Hallucination to Consensus: Multi-Agent LLMs for End-to-End Test Generation [2.794277194464204]
ユニットテストは、ソフトウェアの正しさを保証する上で重要な役割を担います。
従来の手法は、高いコードカバレッジを達成するために、検索ベースまたはランダム化アルゴリズムに依存していた。
CANDORはJavaにおける自動単体テスト生成のための新しいプロンプトエンジニアリングベースのLLMフレームワークである。
論文 参考訳(メタデータ) (2025-06-03T14:43:05Z) - Type-Constrained Code Generation with Language Models [51.03439021895432]
本稿では,型システムを利用してコード生成を誘導する型制約デコード手法を提案する。
そこで本研究では,新しい接頭辞オートマトンと,在来型を探索する手法を開発し,LLM生成コードに適切な型付けを強制するための健全なアプローチを構築した。
提案手法は,コード合成,翻訳,修復作業において,コンパイルエラーを半分以上削減し,機能的正しさを著しく向上させる。
論文 参考訳(メタデータ) (2025-04-12T15:03:00Z) - Teaching Your Models to Understand Code via Focal Preference Alignment [70.71693365502212]
既存の手法では、テストケースの成功率に基づいてn個の候補解が評価される。
このアプローチは、特定のエラーを特定するのではなく、失敗するコードブロック全体を整列するので、意味のあるエラーと訂正の関係を捉えるのに必要な粒度が欠けている。
我々は、人間の反復デバッグを模倣してコードLLMを洗練させる新しい優先順位調整フレームワークであるTarget-DPOを提案する。
論文 参考訳(メタデータ) (2025-03-04T16:56:34Z) - ToolScan: A Benchmark for Characterizing Errors in Tool-Use LLMs [77.79172008184415]
TOOLSCANは、ツール使用タスクのLLM出力におけるエラーパターンを特定するための新しいベンチマークである。
もっとも顕著なLCMでも,これらの誤りパターンが出力に現れることを示す。
研究者たちは、TOOLSCANのこれらの洞察を使って、エラー軽減戦略をガイドすることができる。
論文 参考訳(メタデータ) (2024-11-20T18:56:22Z) - Steering Large Language Models between Code Execution and Textual Reasoning [22.279107036500083]
テキスト推論は、数学、論理学、最適化、探索における課題を伴うタスクの解決に固有の制限がある。
OpenAI GPT Code InterpreterとAutoGenのようなマルチエージェントフレームワークは、コード生成と実行を統合するのに顕著な能力を示している。
LLMのコード/テキスト生成を良くし、顕著な改善を実現するための3つの方法を提案する。
論文 参考訳(メタデータ) (2024-10-04T15:44:47Z) - Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
本研究では,ALIESと呼ばれる新しい手法を提案する。
入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。
元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
論文 参考訳(メタデータ) (2023-05-24T06:16:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。