論文の概要: Probing Ambiguity: Adversarial Intent Resolution for Robust Text-to-SQL
- arxiv url: http://arxiv.org/abs/2610.24248v1
- Date: Fri, 16 Oct 2026 21:20:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 02:54:18.565702
- Title: Probing Ambiguity: Adversarial Intent Resolution for Robust Text-to-SQL
- Title(参考訳): Probing Ambiguity:Robust Text-to-SQLの逆インテント解決
- Abstract要約: タスク固有のトレーニングなしに,このような曖昧さを積極的に調査,解決するマルチエージェントフレームワークであるAdrial Intent Resolution(AIR)を紹介します。
AIRはまず、競合する解釈を構築し、スルースクルの実行を検証し、真に異なる結果を生成し、観測されたデータの違いに基づいて目的の明確化の質問を生成する。
言語構造ではなくスキーマ設計からあいまいさが生じるAMBROSIAベンチマークでは、AIRはベンチマーク固有の適応なしに両方のコンテキスト設定下で高いF1を達成する。
- 参考スコア(独自算出の注目度): 6.346793764902704
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-to-SQL systems typically assume a one-to-one mapping between natural-language queries and correct SQL translations. In practice, however, many queries are inherently ambiguous, admitting multiple valid interpretations that yield distinct outputs. We introduce Adversarial Intent Resolution (AIR), a multi-agent framework that actively probes and resolves such ambiguity without any task-specific training. AIR first constructs competing interpretations, verifies through SQL execution that they produce genuinely different results, and generates targeted clarification questions grounded in the observed data differences. Evaluating on leading benchmarks for ambiguous questions, AIR demonstrates strong performance, efficiency, and robust cross-benchmark transferability. On the AMBROSIA benchmark under schema-only context, a realistic production setting where exposing the full database is infeasible, AIR outperforms IntentRL, the state-of-the-art reinforcement learning model, across all metrics (e.g., F1 0.679 vs. 0.618). Crucially, AIR exhibits only ~7% performance degradation without the full database, compared to ~20% for IntentRL. On the AmbiQT benchmark, where ambiguity arises from schema design rather than linguistic structure, AIR achieves higher F1 under both context settings without any benchmark-specific adaptation.
- Abstract(参考訳): テキストからSQLへのシステムは通常、自然言語クエリと正しいSQL翻訳を1対1でマッピングする。
しかし実際には、多くのクエリは本質的に曖昧であり、異なる出力を生成する複数の有効な解釈を許容する。
タスク固有のトレーニングなしに,このような曖昧さを積極的に調査,解決するマルチエージェントフレームワークであるAdversarial Intent Resolution (AIR)を紹介する。
AIRはまず、競合する解釈を構築し、SQLの実行を通じて真に異なる結果を生成することを検証し、観測されたデータの違いに基づいて目的の明確化の質問を生成する。
あいまいな質問に対する主要なベンチマークを評価し、AIRは強力なパフォーマンス、効率、堅牢なベンチマーク間転送性を示します。
スキーマのみのコンテキスト下でのAMBROSIAベンチマークでは、フルデータベースを公開するという現実的な運用環境では、AIRはすべてのメトリクス(例えば、F1 0.679 vs. 0.618)で最先端の強化学習モデルであるIntentRLより優れています。
重要なのは、IntentRLが20%であるのに対して、完全なデータベースなしでは、AIRのパフォーマンスがわずかに7%向上したことです。
AmbiQTベンチマークでは、言語構造ではなくスキーマ設計からあいまいさが生じるが、AIRは、ベンチマーク固有の適応なしに両方のコンテキスト設定下でより高いF1を達成する。
関連論文リスト
- ARCS: Towards Precise Text-to-SQL via Structured Disambiguation [12.286878327914833]
テキストと曖昧さのシステムは、実世界の展開へのデモを超えて、ユーザの問合せの曖昧さがエラーの主な原因となる。
本稿では,自由形式の対話ではなく,明示的で制約のある対話を通じてあいまいさを解消する新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2026-10-07T03:54:02Z) - Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。
我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。
Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
論文 参考訳(メタデータ) (2026-07-21T16:15:05Z) - Spider 2.0-AIFunc: Extending Real-World Text-to-SQL to AI-Native SQL Workflows [54.49251107006261]
我々はSpider 2.0-AIFuncを紹介した。これは、Snowflakeプラットフォーム上の6種類のAI機能をカバーする125の現実世界データベースにわたる465の検証済みインスタンスのベンチマークである。
最強のプロプライエタリモデルは67-70%の精度で実行でき、最高のオープンソースモデルは58.1%に達する。
論文 参考訳(メタデータ) (2026-07-07T12:54:08Z) - Agent-Agnostic Evaluation of SQL Accuracy in Production Text-to-SQL Systems [2.051598597332424]
運用環境におけるテキストからネイティブ(T2native)評価は、既存のベンチマークが対処しない根本的な課題を生じさせる。
本稿では,自然言語入力のみで動作する生産評価システムSTEFを提案する。
STEFは、フィルタアライメント、セマンティック検証、評価器の信頼性を含む合成計量を用いて、解釈可能な0から100の精度スコアを生成する。
論文 参考訳(メタデータ) (2026-04-30T15:59:28Z) - Explainable Semantic Textual Similarity via Dissimilar Span Detection [53.32175252285023]
テキストのペア間で意味的に異なるスパンを識別することを目的として,DSD(Dissimilar Span Detection)タスクを導入する。
これにより、ユーザーはどの特定の単語やトークンが類似度スコアに悪影響を及ぼすかを理解したり、STS依存のダウンストリームタスクのパフォーマンス向上に使用することができる。
論文 参考訳(メタデータ) (2026-03-22T11:32:31Z) - APEX-SQL: Talking to the data via Agentic Exploration for Text-to-SQL [39.76924093980244]
APEX-動詞化は、パラダイムを受動的翻訳からエージェント探索に移行するフレームワークである。
提案フレームワークでは,実データにおける基底モデル推論に仮説検証ループを用いる。
論文 参考訳(メタデータ) (2026-02-11T07:50:47Z) - Fact-Consistency Evaluation of Text-to-SQL Generation for Business Intelligence Using Exaone 3.5 [0.0]
大規模言語モデル(LLM)は、テキスト・ツー・ジェネレーションによる構造化データクエリーのための自然言語インタフェースの実現を約束している。
本稿では,Exaone 3.5 を用いて LLM 生成したsql 出力の意味的精度を評価するためのFact-Consistency Evaluation Framework を提案する。
本稿では,LG Electronicsの内部BigQuery環境における実際の販売データから抽出した219の自然言語ビジネス質問からなるドメイン固有ベンチマークを構築した。
我々は,応答精度,実行成功率,意味的誤り率,非応答率を用いてモデル性能を評価する。
論文 参考訳(メタデータ) (2025-04-30T14:42:18Z) - AMBROSIA: A Benchmark for Parsing Ambiguous Questions into Database Queries [56.82807063333088]
我々は,新たなベンチマークであるAMBROSIAを導入し,テキスト・ツー・オープン・プログラムの開発を促進することを期待する。
私たちのデータセットには、3種類のあいまいさ(スコープのあいまいさ、アタッチメントのあいまいさ、あいまいさ)を示す質問が含まれている。
いずれの場合も、データベースのコンテキストが提供されてもあいまいさは持続する。
これは、スクラッチからデータベースを制御して生成する、新しいアプローチによって実現される。
論文 参考訳(メタデータ) (2024-06-27T10:43:04Z) - SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。
5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
論文 参考訳(メタデータ) (2022-09-14T06:27:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。