論文の概要: ScenarioBench: Trace-Grounded Compliance Evaluation for Text-to-SQL and RAG

• arxiv url: http://arxiv.org/abs/2509.24212v1
• Date: Mon, 29 Sep 2025 02:51:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.703014
• Title: ScenarioBench: Trace-Grounded Compliance Evaluation for Text-to-SQL and RAG
• Title（参考訳）: ScenarioBench: Text-to-SQLとRAGのためのトレース付きコンプライアンス評価
• Abstract要約: Scenarioは、コンプライアンスコンテキストにおけるText-to-retrieval-augmented生成を評価するための、ポリシーベースでトレース対応のベンチマークである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: ScenarioBench is a policy-grounded, trace-aware benchmark for evaluating Text-to-SQL and retrieval-augmented generation in compliance contexts. Each YAML scenario includes a no-peek gold-standard package with the expected decision, a minimal witness trace, the governing clause set, and the canonical SQL, enabling end-to-end scoring of both what a system decides and why. Systems must justify outputs using clause IDs from the same policy canon, making explanations falsifiable and audit-ready. The evaluator reports decision accuracy, trace quality (completeness, correctness, order), retrieval effectiveness, SQL correctness via result-set equivalence, policy coverage, latency, and an explanation-hallucination rate. A normalized Scenario Difficulty Index (SDI) and a budgeted variant (SDI-R) aggregate results while accounting for retrieval difficulty and time. Compared with prior Text-to-SQL or KILT/RAG benchmarks, ScenarioBench ties each decision to clause-level evidence under strict grounding and no-peek rules, shifting gains toward justification quality under explicit time budgets.
• Abstract（参考訳）: ScenarioBenchは、コンプライアンスコンテキストにおけるText-to-SQLと検索強化生成を評価するための、ポリシーベースでトレース対応のベンチマークである。 各YAMLシナリオには、期待される決定、最小限の証人トレース、統治条項セット、標準SQLを含む、非ピークのゴールドスタンダードパッケージが含まれており、システムが決定する理由と理由の両方をエンドツーエンドにスコアリングすることができる。 システムは、同じポリシーカノンから節IDを使用して出力を正当化し、説明が偽造可能で監査可能なものにしなければならない。 評価器は、決定精度、トレース品質(完全性、正確性、順序)、検索効率、結果セットの等価性によるSQLの正しさ、ポリシーカバレッジ、レイテンシ、説明幻覚率を報告する。 SDI(Scenario Difficulty Index)とSDI-R(S budgeted variant)は,検索の困難さと時間を考慮して集計した。 従来の Text-to-SQL や KILT/RAG ベンチマークと比較すると,ScenarioBench では,厳格な根拠と非ピークルールの下で,各決定を条項レベルのエビデンスに関連付けている。

関連論文リスト

• HARP: Hierarchical Adaptive Ranking with Preference-Adaptive Fusion for Query-Based CVE Prioritization [84.9738509922482]
  本稿では,自然言語クエリから候補をランク付けするグラフ付きマルチビューフレームワークと,過去のラベル付きサンプルの支持銀行を提案する。 HarPは脆弱性知識グラフからエビデンスを取得し、ポリシー付きグローバル、エンタプライズ、ユーザビューで候補をスコアし、サンプルサポートからのビューフュージョン重みに適合する。
  論文  参考訳（メタデータ） (2026-08-19T20:29:00Z)
• Benchmarking Text-to-SQL under Role-Based Access Control [27.035834672528548]
  現在、人気のあるテキスト・ツー・ベンチマークは、主にSへの無制限アクセスを前提としている。 実際には、ユーザアクセスはロールベースのアクセス制御(RBAC)ポリシを通じて制限されることが多い。 本稿では,既存のテキスト・ツー・ベンチマークを現実的なユーザの役割とアクセスポリシーで強化する総合的なテキスト・ツー・アシストRBACフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-24T09:10:58Z)
• EASE-TTT: Evidence-Aligned Selective Test-Time Training for Long-Context Question Answering [61.89411578705886]
  長文質問応答のためのEvidence-Aligned Selective Test-Time Training (EASE-TTT)を提案する。 EASE-TTTは、選択されたエビデンスチャンクをトークン位置に対するソフトアテンション監視ターゲットに変換する。 完全コンテキスト推論、検索専用ベースライン、qTTTの中では最強のマクロ平均性能を実現している。
  論文  参考訳（メタデータ） (2026-06-05T04:49:37Z)
• Agent-Agnostic Evaluation of SQL Accuracy in Production Text-to-SQL Systems [2.051598597332424]
  運用環境におけるテキストからネイティブ(T2native)評価は、既存のベンチマークが対処しない根本的な課題を生じさせる。 本稿では,自然言語入力のみで動作する生産評価システムSTEFを提案する。 STEFは、フィルタアライメント、セマンティック検証、評価器の信頼性を含む合成計量を用いて、解釈可能な0から100の精度スコアを生成する。
  論文  参考訳（メタデータ） (2026-04-30T15:59:28Z)
• PV-SQL: Synergizing Database Probing and Rule-based Verification for Text-to-SQL Agents [7.865833770467325]
  テキスト・ツー・システムは、特に微妙な要求のある複雑なクエリにおいて、深いコンテキスト理解に苦しむことが多い。 本稿では,2つの相補的コンポーネント(プローブと検証)を通じて,これらの障害に対処するエージェントフレームワークであるPV-Verifyを紹介する。 Probeコンポーネントは、データベースから具体的なレコードを取得するための探索クエリを反復的に生成し、値形式、列のセマンティクス、テーブル間の関係の曖昧さを解消し、よりリッチなコンテキスト理解を構築する。
  論文  参考訳（メタデータ） (2026-04-19T22:54:05Z)
• SpotIt+: Verification-based Text-to-SQL Evaluation with Database Constraints [9.733987594033907]
  SpotIt+は、有界同値検証による音声合成システムの評価ツールである。 本稿では,ルールベース仕様マイニングとLLMに基づく検証を組み合わせた制約マイニングパイプラインを提案する。 BIRDデータセットの実験結果は、マイニングされた制約により、SpotIt+はより現実的な差別化データベースを生成することができることを示している。
  論文  参考訳（メタデータ） (2026-03-04T17:51:42Z)
• Companion Agents: A Table-Information Mining Paradigm for Text-to-SQL [8.159121916366727]
  BIRDのような大規模テキスト・ツー・キュレートのベンチマークは通常、利用可能な外部知識だけでなく、完全で正確なデータベースアノテーションを前提としている。 このミスマッチはドメイン・オブ・ザ・ドメイン・テキスト・トゥ・アーティファクトシステムの現実的な適用性を著しく制限する。 本稿では,関係データベースに内在する固有できめ細かな情報を活用するデータベース中心の手法を提案する。
  論文  参考訳（メタデータ） (2025-12-17T07:11:55Z)
• Text-to-SQL as Dual-State Reasoning: Integrating Adaptive Context and Progressive Generation [54.53145282349042]
  DSR-sourced, textbfDual-textbfS textbfReasoning frameworkを導入する。 ポストトレーニングやインコンテキストの例がなければ、DSR-sourcedは競合性能を達成し、スパイダー2.0-Snowで35.28%、BIRD開発で68.32%に達する。
  論文  参考訳（メタデータ） (2025-11-26T13:52:50Z)
• SCARE: A Benchmark for SQL Correction and Question Answerability Classification for Reliable EHR Question Answering [18.161591137171623]
  EHR QAシステムにおける保温後安全層として機能する手法を評価するためのベンチマークであるSCAREを紹介する。 SCAREは(1)質問応答可能性(すなわち、質問が回答可能か、あいまいか、答え不能か)を分類し、(2)候補qlクエリを検証または修正する共同タスクを評価する。
  論文  参考訳（メタデータ） (2025-11-13T06:35:29Z)
• Learning to Route: A Rule-Driven Agent Framework for Hybrid-Source Retrieval-Augmented Generation [55.47971671635531]
  大言語モデル(LLM)は、一般質問回答(QA)において顕著な性能を示した。 Retrieval-Augmented Generation (RAG)は、LLMを外部知識で強化することで、この制限に対処する。 既存のシステムは、主に構造化されていないドキュメントに依存しているが、主にリレーショナルデータベースを見下ろしている。
  論文  参考訳（メタデータ） (2025-09-30T22:19:44Z)
• SQLCritic: Correcting Text-to-SQL Generation via Clause-wise Critic [8.680252929322684]
  そこで我々は,sqlCriticBenchというベンチマークとともに,節単位の批判生成タスクを導入し,詳細なエラーローカライゼーションを行う。 また,自動トレーニングデータセットキュレーションパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-03-11T02:52:39Z)
• PICASO: Permutation-Invariant Context Composition with State Space Models [98.91198288025117]
  State Space Models (SSM) は、コンテキストのデータベースを固定次元の状態にマッピング可能にすることで、有望なソリューションを提供する。 本研究では,SSM力学から導かれる単純な数学的関係を,生のコンテキストトークンの連結効果を効率的に近似する複数の状態に構成する。 我々は,WikiText と MSMARCO をゼロショットと微調整の両方で評価し,平均5.4倍のスピードアップを楽しみながら最強の演奏ベースラインと一致できることを示す。
  論文  参考訳（メタデータ） (2025-02-24T19:48:00Z)
• Fundamental Challenges in Evaluating Text2SQL Solutions and Detecting Their Limitations [9.363953429870007]
  予測と評価の誤りを生じる可能性のあるすべてのText2制限を統一した分類法を提案する。 本稿では,実例による制限の原因について述べるとともに,分類学における各カテゴリーに対する潜在的な緩和ソリューションを提案する。
  論文  参考訳（メタデータ） (2025-01-30T08:31:09Z)
• Few-shot Policy (de)composition in Conversational Question Answering [54.259440408606515]
  本稿では,大規模言語モデル(LLM)を用いて数ショット設定でポリシーコンプライアンスを検出するニューラルシンボリックフレームワークを提案する。 提案手法は,回答すべきサブクエストを抽出し,文脈情報から真理値を割り当て,与えられたポリシーから論理文の集合を明示的に生成することで,政策コンプライアンスに関する会話に対して健全な理由を示す。 本手法は,PCDおよび会話機械読解ベンチマークであるShARCに適用し,タスク固有の微調整を伴わずに競合性能を示す。
  論文  参考訳（メタデータ） (2025-01-20T08:40:15Z)
• Evaluating LLMs for Text-to-SQL Generation With Complex SQL Workload [1.2738020945091273]
  TPC-DSクエリは、他の2つのベンチマークと比較すると、構造的な複雑さがかなり高い。 現在の最先端の生成AIモデルは、正確な意思決定クエリの生成に不足していることを示している。 その結果、実際の実世界のアプリケーションでは、生成したクエリの精度が不十分であることが判明した。
  論文  参考訳（メタデータ） (2024-07-28T15:53:05Z)
• SWING: Balancing Coverage and Faithfulness for Dialogue Summarization [67.76393867114923]
  本稿では,自然言語推論(NLI)モデルを用いて,事実の不整合を回避し,カバレッジを向上させることを提案する。 我々は、NLIを用いて詳細なトレーニング信号を計算し、モデルがカバーされていない参照サマリーのコンテンツを生成することを奨励する。 DialogSumおよびSAMSumデータセットの実験により,提案手法の有効性が確認された。
  論文  参考訳（メタデータ） (2023-01-25T09:33:11Z)
• STAR: SQL Guided Pre-Training for Context-dependent Text-to-SQL Parsing [64.80483736666123]
  文脈依存型テキスト・ツー・パースのための新しい事前学習フレームワークSTARを提案する。 さらに,STARを事前学習するための大規模コンテキスト依存型テキスト対話コーパスを構築した。 大規模な実験により、STARは2つの下流ベンチマークで新しい最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2022-10-21T11:30:07Z)
• Searching for Better Database Queries in the Outputs of Semantic Parsers [16.221439565760058]
  本稿では,テスト時に生成したクエリを評価する外部基準にアクセスできる場合を考える。 クエリがエラーなしに実行されることをチェックすることから、一連のテストでクエリを検証することまで、その基準は様々である。 我々は、最先端のセマンティクスにアプローチを適用し、異なるデータセットですべてのテストを通過する多くのクエリを見つけることができると報告します。
  論文  参考訳（メタデータ） (2022-10-13T17:20:45Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)
• Towards Dynamic Consistency Checking in Goal-directed Predicate Answer Set Programming [2.3204178451683264]
  本稿では,動的一貫性チェック(Dynamic Consistency check)と呼ばれるトップダウン評価戦略のバリエーションを示す。 これにより、リテラルがプログラムのグローバルな制約に関連する否定と互換性がないかどうかを判断できる。 我々は、標準バージョンのs(CASP)の最大90倍のスピードアップを実験的に観察した。
  論文  参考訳（メタデータ） (2021-10-22T20:38:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。