論文の概要: SALUS: Automated Auditing of NL-to-SQL Benchmarks through Weak Supervision of Multi-Agent Output

• arxiv url: http://arxiv.org/abs/2610.05540v1
• Date: Sun, 04 Oct 2026 21:12:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 13:10:26.026763
• Title: SALUS: Automated Auditing of NL-to-SQL Benchmarks through Weak Supervision of Multi-Agent Output
• Title（参考訳）: SALUS:マルチエージェント出力の弱スーパービジョンによるNL-to-SQLベンチマークの監査自動化
• Abstract要約: 本稿では,ベンチマーク中のアノテーションエラーを自動的に検出するシステムであるSALUSを提案する。 SALUSは、弱い教師付きエラー検出としてベンチマーク監査を行う。 我々は,BIRDで約37%,Spiderで約27%のアノテーション誤差率を推定した。
• 参考スコア（独自算出の注目度）: 11.568071613299553
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural language to SQL (NL-to-SQL) benchmarks are foundational to progress in data analysis research, yet recent work has shown that widely-used benchmarks contain significant annotation errors. These errors silently corrupt evaluation metrics, penalize correct model output, and distort the field's understanding of state-of-the-art performance. We present SALUS, a system that automatically detects annotation errors in NL-to-SQL benchmarks. SALUS frames benchmark auditing as a weakly supervised error detection: SQL generated by multiple LLM agents drive a suite of complementary weak-labeling functions. By passing this noisy vote matrix through a generative label model, we extract high-confidence training samples without requiring human ground truth. These samples train a decision plane that maps gold SQL query features to per-agent trustworthiness, allowing SALUS to intelligently fuse reliability estimates with raw verdicts for rigorous benchmark error detection. We evaluate on BIRD-Clean-xs, a benchmark of 298 BIRD development tasks with manually verified correctness labels. SALUS achieves F1 = 0.9194, significantly outperforming the state-of-the-art baselines. Applying SALUS to the full development sets, we estimate annotation error rates of approximately 37% on BIRD and 27% on Spider.
• Abstract（参考訳）: 自然言語からSQLへのベンチマーク(NL-to-SQL)は、データ分析研究の進展に基礎を置いているが、近年の研究では、広く使用されているベンチマークには、重要なアノテーションエラーが含まれていることが示されている。 これらのエラーは、静かに評価指標を破損させ、正しいモデル出力をペナルティ化し、最先端のパフォーマンスに対するフィールドの理解を歪ませる。 NL-to-SQLベンチマークでアノテーションエラーを自動的に検出するシステムであるSALUSを提案する。 複数のLLMエージェントによって生成されたSQLは、補完的な弱いラベル付け関数群を駆動する。 このノイズの多い投票行列を生成ラベルモデルに渡すことで、人間の真実を必要とせず、高信頼度トレーニングサンプルを抽出する。 これらのサンプルは、金のSQLクエリ機能をエージェント毎の信頼性にマップする決定プレーンをトレーニングし、SALUSは信頼性見積を厳格なベンチマークエラー検出の生の検証と組み合わせることができる。 298 BIRD 開発タスクのベンチマークである BIRD-Clean-xs の評価を行った。 SALUSはF1 = 0.9194を達成し、最先端のベースラインを大きく上回っている。 SALUSを全開発セットに適用し、BIRDで約37%、Spiderで約27%のアノテーションエラー率を推定する。

関連論文リスト

• TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
  TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。 効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。 コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-09-27T06:58:39Z)
• Enhancing Web Application Firewalls with Machine Learning for SQL Injection Detection [0.37851234061033856]
  本研究は,本領域における研究ギャップを特定するために,系統的な文献レビューを行った。 検出効率と堅牢性を改善するために、DistilBERT-Stacked Ensembleパイプラインを応答的に設計し最適化した。 このアンサンブルは、報告された全ての指標で99.81%を達成し、最強のシングルモデルに匹敵する結果となった。
  論文  参考訳（メタデータ） (2026-08-28T21:47:31Z)
• ACTS-SQL: Agentic and Critic-Oriented Tree-Structured SQL Correctness with Large Language Models [27.75092433893197]
  本稿では,計画的,木構造的デバッグプロセスとしてsql補正を定式化するための学習自由フレームワークを提案する。 我々は,強いLDMバックボーンと代表エージェントベースラインに対して一貫した精度向上を観察し,従来の最先端手法よりも9.42%改善した。 このフレームワークは、オンラインのText-to-TLS APIをサポートするために、Volcano EngineのTorch Log Service (TLS)にもデプロイされている。
  論文  参考訳（メタデータ） (2026-08-15T09:43:57Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• SPENCE: A Syntactic Probe for Detecting Contamination in NL2SQL Benchmarks [40.31493151791439]
  大規模言語モデル (LLM) は、自然言語 tosql (NL2) ベンチマークで高いパフォーマンスを達成した。 報告された精度は、ベンチマーククエリからの汚染や、トレーニング中に見られる構造的に類似したパターンによって膨らませられる可能性がある。 本研究では,このような汚染を検出・定量化するための統括型構文探索フレームワークであるSPENCEを紹介する。
  論文  参考訳（メタデータ） (2026-04-20T03:50:21Z)
• ErrorLLM: Modeling SQL Errors for Text-to-SQL Refinement [57.98138819417949]
  テキスト・ツー・クエリを明示的にモデル化するフレームワークであるErrorLLMを提案する。 ErrorLLMは、バックボーンの初期生成よりも大幅に改善されていることを示す。 ErrorLLMは、精錬効率を維持しつつ、高い検出F1スコアで両面に対処する。
  論文  参考訳（メタデータ） (2026-03-04T05:27:20Z)
• SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
  SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。 ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。 安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
  論文  参考訳（メタデータ） (2026-01-19T23:37:10Z)
• Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
  大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。 単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。 現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。 AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
  論文  参考訳（メタデータ） (2025-09-29T18:20:27Z)
• VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
  VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。 セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。 平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
  論文  参考訳（メタデータ） (2025-09-15T02:25:38Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。