論文の概要: Evaluating LLMs on Conversational Text-to-SQL under Chain Ambiguity and Intent Drift

• arxiv url: http://arxiv.org/abs/2608.29543v1
• Date: Sun, 30 Aug 2026 04:24:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.99402
• Title: Evaluating LLMs on Conversational Text-to-SQL under Chain Ambiguity and Intent Drift
• Title（参考訳）: 鎖のあいまいさと入射ドリフトを考慮した対話型テキスト・トゥ・SQLにおけるLLMの評価
• Abstract要約: TIDE-Benchは、チェーンのあいまいさと意図のドリフト評価の下での対話型テキストから特定要素のベンチマークである。 1,542のサンプルからなり、実行精度を超えるチェーン識別とドリフト認識のための専用メトリクスを導入している。
• 参考スコア（独自算出の注目度）: 25.734705706735443
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large language models (LLMs) have established conversational text-to-SQL as a practical interface between users and databases, often involving multiple turns of clarification and revision. However, existing benchmarks primarily evaluate execution accuracy, leaving the unfolding and shifting of user intent across turns largely uncovered. To address this, we introduce TIDE-Bench, a benchmark for conversational text-to-SQL under chain ambiguity and intent drift evaluation, targeting two recurring patterns: chain ambiguity, where an underspecified question triggers layered clarification with conditional dependencies, and intent drift, where the user retracts and replaces a previously committed request element. Built on 514 anchor SQLs from BIRD, TIDE-Bench comprises 1,542 samples and introduces dedicated metrics for chain identification and drift recognition-resolution beyond execution accuracy. Evaluating 12 advanced LLMs reveals a persistent chain identification bottleneck unaffected by clarification frequency, a wide drift recognition-resolution gap, and overlap between failure modes when jointly activated. The corresponding code of TIDE-Bench is released for further research.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、ユーザとデータベース間の実用的なインターフェースとして、会話によるテキスト間SQLを確立しており、多くの場合、複数回にわたる明確化とリビジョンが伴っている。 しかし、既存のベンチマークは主に実行の正確さを評価しており、ユーザ意図の展開とシフトは明らかになっていない。 これを解決するために,チェーン曖昧さと意図的ドリフト評価に基づく対話型テキスト・トゥ・SQLのベンチマークであるTIDE-Benchを紹介した。チェーン曖昧さ,不特定質問が条件依存による階層的明確化を誘発する,意図的ドリフト,ユーザが以前コミットした要求要素を抽出し置き換える,という2つの繰り返しパターンである。 BIRDから514のアンカーSQL上に構築されたTIDE-Benchは,1,542のサンプルで構成され,チェーン識別とドリフト認識のための専用メトリクスを導入している。 12の高度なLCMを評価すると、明確化周波数、広いドリフト認識-解像度ギャップ、および共同活性化時の故障モード間の重なりの影響を受けない永続的なチェーン識別ボトルネックが明らかになる。 TIDE-Benchの対応するコードは、さらなる研究のためにリリースされている。

関連論文リスト

• CLARITY: A Framework and Benchmark for Conversational Language Ambiguity and Unanswerability in Interactive NL2SQL Systems [13.595364881493943]
  既存のベンチマークは通常、曖昧さの単一のソースを仮定し、解決のためにユーザインタラクションに依存します。 Clarityは,多面的曖昧さと多様なユーザ動作を備えたNL2ベンチマークを自動生成するフレームワークである。 業界グレードのNL2システムにおいて,より堅牢なあいまいさ検出と解決の必要性を強調した。
  論文  参考訳（メタデータ） (2026-04-24T07:47:16Z)
• Explainable Semantic Textual Similarity via Dissimilar Span Detection [53.32175252285023]
  テキストのペア間で意味的に異なるスパンを識別することを目的として,DSD(Dissimilar Span Detection)タスクを導入する。 これにより、ユーザーはどの特定の単語やトークンが類似度スコアに悪影響を及ぼすかを理解したり、STS依存のダウンストリームタスクのパフォーマンス向上に使用することができる。
  論文  参考訳（メタデータ） (2026-03-22T11:32:31Z)
• LatentRefusal: Latent-Signal Refusal for Unanswerable Text-to-SQL Queries [6.5781226398371615]
  問合せ不能なユーザクエリとユーザクエリは、テキストから特定システムへの安全なデプロイにおいて、大きな障壁となる。 LatentRefusalは、大きな言語モデルの隠れアクティベーションから応答可能性を予測する潜在信号の拒絶メカニズムである。 latentRefusalは、両方の背骨で平均F1から88.5%改善し、約2ミリ秒のプローブオーバヘッドを追加します。
  論文  参考訳（メタデータ） (2026-01-15T13:48:22Z)
• Bridging Global Intent with Local Details: A Hierarchical Representation Approach for Semantic Validation in Text-to-SQL [30.78817492504152]
  HEROは、グローバルな意図と局所的な詳細を統合する階層的な表現アプローチである。 我々はNested Message Passing Neural Network (NMPNN) を用いて、関係スキーマ誘導セマンティクスにおける固有情報をキャプチャする。 提案手法は既存の最先端手法よりも優れており,AUPRCの9.40%,AUROCの12.35%が意味的不整合を識別している。 きめ細かいセマンティックエラーを検出し、よりきめ細かいフィードバックで大きな言語モデルを提供し、最終的にはデータクエリプラットフォームの信頼性と解釈性を高めます。
  論文  参考訳（メタデータ） (2025-12-28T02:25:33Z)
• Companion Agents: A Table-Information Mining Paradigm for Text-to-SQL [8.159121916366727]
  BIRDのような大規模テキスト・ツー・キュレートのベンチマークは通常、利用可能な外部知識だけでなく、完全で正確なデータベースアノテーションを前提としている。 このミスマッチはドメイン・オブ・ザ・ドメイン・テキスト・トゥ・アーティファクトシステムの現実的な適用性を著しく制限する。 本稿では,関係データベースに内在する固有できめ細かな情報を活用するデータベース中心の手法を提案する。
  論文  参考訳（メタデータ） (2025-12-17T07:11:55Z)
• Text-to-SQL as Dual-State Reasoning: Integrating Adaptive Context and Progressive Generation [54.53145282349042]
  DSR-sourced, textbfDual-textbfS textbfReasoning frameworkを導入する。 ポストトレーニングやインコンテキストの例がなければ、DSR-sourcedは競合性能を達成し、スパイダー2.0-Snowで35.28%、BIRD開発で68.32%に達する。
  論文  参考訳（メタデータ） (2025-11-26T13:52:50Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• AutoBencher: Towards Declarative Benchmark Construction [74.54640925146289]
  AutoBencherを使って、数学、多言語性、知識、安全性のためのデータセットを作成しています。 AutoBencherのスケーラビリティにより、詳細なカテゴリ知識をテストでき、既存のベンチマークよりも22%のモデルエラー(難易度)を誘発するデータセットを作成することができる。
  論文  参考訳（メタデータ） (2024-07-11T10:03:47Z)
• AMBROSIA: A Benchmark for Parsing Ambiguous Questions into Database Queries [56.82807063333088]
  我々は,新たなベンチマークであるAMBROSIAを導入し,テキスト・ツー・オープン・プログラムの開発を促進することを期待する。 私たちのデータセットには、3種類のあいまいさ(スコープのあいまいさ、アタッチメントのあいまいさ、あいまいさ)を示す質問が含まれている。 いずれの場合も、データベースのコンテキストが提供されてもあいまいさは持続する。 これは、スクラッチからデータベースを制御して生成する、新しいアプローチによって実現される。
  論文  参考訳（メタデータ） (2024-06-27T10:43:04Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。