論文の概要: Benchmarking Text-to-SQL under Role-Based Access Control

• arxiv url: http://arxiv.org/abs/2607.22115v1
• Date: Fri, 24 Jul 2026 09:10:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.089194
• Title: Benchmarking Text-to-SQL under Role-Based Access Control
• Title（参考訳）: ロールベースアクセス制御によるテキストからSQLへのベンチマーク
• Authors: Yang Fei, Yangfan Jiang, Yin Yang, Xiaokui Xiao,
• Abstract要約: 現在、人気のあるテキスト・ツー・ベンチマークは、主にSへの無制限アクセスを前提としている。 実際には、ユーザアクセスはロールベースのアクセス制御(RBAC)ポリシを通じて制限されることが多い。 本稿では,既存のテキスト・ツー・ベンチマークを現実的なユーザの役割とアクセスポリシーで強化する総合的なテキスト・ツー・アシストRBACフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 27.035834672528548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a database S and a natural language question Q, text-to-SQL systems aim to generate an SQL query that correctly answers Q when executed against S. Currently, popular text-to-SQL benchmarks mostly assume unrestricted access to S; in practice, however, user access is often restricted, e.g., through role-based access control (RBAC) policies. This leads to a potential disconnect between benchmarking results and real-world performance: an LLM with high benchmark scores might perform poorly in an access-controlled environment, by frequently violating RBAC, or rejecting a query q that could be answered with only permitted data in S. Motivated by this, we present a comprehensive text-to-SQL benchmarking framework with realistic RBAC constraints, which features an LLM-assisted workflow that augments existing text-to-SQL benchmarks with plausible user roles and access policies. To do so, we formulate the problem of role synthesis as a structured reasoning process over the database schema, in which the LLM first infers the application context from the schema, and then derives role responsibilities and access scopes consistent with this context. This process is audited by human-in-the-loop quality control, in which domain experts perform metric-guided screening on the generated roles. Besides the augmented dataset, the proposed framework also contains evaluation metrics that identify RBAC-specific failure modes, and disentangle SQL utility from access-control compliance. We apply the proposed framework to several widely-used benchmarks, and conduct a systematic empirical study of state-of-the-art text-to-SQL systems. The results show that many solutions (especially open-weight LLMs) with high benchmarking scores under an unrestricted setting suffer sharp performance degradation once access constraints are in place, due to frequent RBAC violations.
• Abstract（参考訳）: 現在、人気のあるテキストからSQLのベンチマークは、主にSへの無制限アクセスを前提としていますが、実際には、ロールベースのアクセス制御(RBAC)ポリシを通じて、ユーザアクセスが制限されることが多いのです。 高いベンチマークスコアを持つLLMは、頻繁にRBACに違反したり、Sで許可されたデータのみで答えられるクエリqを拒否したりすることで、アクセス制御環境ではパフォーマンスが悪くなったりします。 そこで我々は,LLMがまずアプリケーションコンテキストをスキーマから推論し,そのコンテキストと整合した役割責任とアクセス範囲を導出する,データベーススキーマ上の構造化推論プロセスとしてのロール合成の問題を定式化する。 このプロセスはヒューマン・イン・ザ・ループ品質制御によって監査され、そこではドメインの専門家が生成された役割について計量誘導スクリーニングを行う。 拡張データセットに加えて、提案フレームワークには、RBAC固有の障害モードを特定し、アクセス制御コンプライアンスからSQLユーティリティを分離する評価指標も含まれている。 提案したフレームワークを広く利用されているベンチマークに適用し、最先端のテキスト-SQLシステムに関する体系的な実証的研究を行う。 その結果、制限のない条件下でのベンチマークスコアの高い多くのソリューション(特にオープンウェイトLLM)は、RBAC違反が頻発しているため、アクセス制限が成立すると、性能が著しく低下することがわかった。

関連論文リスト

• SpotIt+: Verification-based Text-to-SQL Evaluation with Database Constraints [9.733987594033907]
  SpotIt+は、有界同値検証による音声合成システムの評価ツールである。 本稿では,ルールベース仕様マイニングとLLMに基づく検証を組み合わせた制約マイニングパイプラインを提案する。 BIRDデータセットの実験結果は、マイニングされた制約により、SpotIt+はより現実的な差別化データベースを生成することができることを示している。
  論文  参考訳（メタデータ） (2026-03-04T17:51:42Z)
• ARBITER: AI-Driven Filtering for Role-Based Access Control [0.2519906683279152]
  我々の実装では、階層化された入出力検証、ロール認識検索、世代後ファクトチェックが実装されている。 合成データセットを用いて389のクエリに対するアプローチを評価する。 その結果,RAGシステムへの実践的RBAC展開は,動的エンタープライズ環境に必要な成熟度レベルに近づいていることが示唆された。
  論文  参考訳（メタデータ） (2025-12-23T17:25:51Z)
• KBQA-R1: Reinforcing Large Language Models for Knowledge Base Question Answering [64.62317305868264]
  テキスト模倣から強化学習によるインタラクション最適化へパラダイムをシフトするフレームワークである textbfKBQA-R1 を提案する。 KBQAを多ターン決定プロセスとして扱うことで,行動のリストを用いて知識ベースをナビゲートすることを学ぶ。 WebQSP、GrailQA、GraphQuestionsの実験では、KBQA-R1が最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-12-10T17:45:42Z)
• LLM-Symbolic Integration for Robust Temporal Tabular Reasoning [69.27153114778748]
  本研究では,システムおよび制御された評価のための合成データセットであるTempTabQA-Cを紹介する。 この構造化アプローチにより、LLM(Large Language Models)はsqlクエリの生成と実行を可能にし、一般化とバイアス軽減の強化を行う。
  論文  参考訳（メタデータ） (2025-06-06T05:14:04Z)
• Text-to-SQL based on Large Language Models and Database Keyword Search [0.0]
  本稿では,自然言語 (NL) 質問を intosql クエリにコンパイルする手法を提案する。 この戦略にはダイナミックな数ショットの例戦略が含まれており、データベースキーワード検索(KwS)プラットフォームが提供するサービスを活用している。 実験により、この戦略は最先端のアプローチを超越した実世界のリレーショナルデータベース上での精度を達成することが示された。
  論文  参考訳（メタデータ） (2025-01-23T12:03:29Z)
• Lucy: Think and Reason to Solve Text-to-SQL [12.52968634440807]
  大規模言語モデル(LLM)は、自然言語でデータベースをクエリするユーザを支援するために大きな進歩を遂げた。 LLMは、多くの標準ベンチマークで最先端の結果を提供するが、大規模エンタープライズデータベースに適用した場合、その性能は著しく低下する。 本稿では,質問理解におけるLLMのパワーと,複雑なデータベース制約を扱う自動推論手法を組み合わせた新しい解を提案する。
  論文  参考訳（メタデータ） (2024-07-06T18:56:42Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• DePLOI: Applying NL2SQL to Synthesize and Audit Database Access Control [6.2859996652179]
  本稿では,Intent-Based Access Control for Database (IBAC-DB) と呼ばれる新しいアクセス制御モデルを提案する。 IBAC-DBでは、アクセス制御ポリシーは、多数のデータベースオブジェクトにスケールする抽象化を使用して表現され、実装に関してトレース可能である。 本稿では,IBAC-DB抽象化からアクセス制御の実装を正確に合成し,監査するために,アクセス制御固有のタスク分解を利用するシステムであるDePLOIを提案する。
  論文  参考訳（メタデータ） (2024-02-11T23:50:12Z)
• Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
  大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
  論文  参考訳（メタデータ） (2023-08-29T14:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。