論文の概要: Fundamental Challenges in Evaluating Text2SQL Solutions and Detecting Their Limitations

• arxiv url: http://arxiv.org/abs/2501.18197v1
• Date: Thu, 30 Jan 2025 08:31:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:14:34.775985
• Title: Fundamental Challenges in Evaluating Text2SQL Solutions and Detecting Their Limitations
• Title（参考訳）: Text2SQLソリューションの評価と限界検出の基礎的課題
• Authors: Cedric Renggli, Ihab F. Ilyas, Theodoros Rekatsinas,
• Abstract要約: 予測と評価の誤りを生じる可能性のあるすべてのText2制限を統一した分類法を提案する。 本稿では,実例による制限の原因について述べるとともに,分類学における各カテゴリーに対する潜在的な緩和ソリューションを提案する。
• 参考スコア（独自算出の注目度）: 9.363953429870007
• License:
• Abstract: In this work, we dive into the fundamental challenges of evaluating Text2SQL solutions and highlight potential failure causes and the potential risks of relying on aggregate metrics in existing benchmarks. We identify two largely unaddressed limitations in current open benchmarks: (1) data quality issues in the evaluation data, mainly attributed to the lack of capturing the probabilistic nature of translating a natural language description into a structured query (e.g., NL ambiguity), and (2) the bias introduced by using different match functions as approximations for SQL equivalence. To put both limitations into context, we propose a unified taxonomy of all Text2SQL limitations that can lead to both prediction and evaluation errors. We then motivate the taxonomy by providing a survey of Text2SQL limitations using state-of-the-art Text2SQL solutions and benchmarks. We describe the causes of limitations with real-world examples and propose potential mitigation solutions for each category in the taxonomy. We conclude by highlighting the open challenges encountered when deploying such mitigation strategies or attempting to automatically apply the taxonomy.
• Abstract（参考訳）: 本研究では,Text2SQLソリューションを評価する上での基本課題について検討し,潜在的な障害原因と,既存のベンチマークで集計メトリクスに依存するリスクを明らかにする。 現在のオープンベンチマークでは,(1) 自然言語記述を構造化クエリ(例えばNL曖昧さ)に変換する確率的性質の欠如に起因する評価データにおけるデータ品質の問題と,(2) 異なるマッチング関数をSQL同値性の近似として用いて導入されたバイアスの2つが,ほとんど修正されていない。 両方の制約を文脈に配置するために、予測と評価の両方のエラーを引き起こす可能性のあるすべてのText2SQL制限の統一された分類法を提案する。 次に、最先端のText2SQLソリューションとベンチマークを使用して、Text2SQL制限の調査を提供することで、分類を動機付けます。 本稿では,実例による制限の原因について述べるとともに,分類学における各カテゴリーに対する潜在的な緩和ソリューションを提案する。 我々は、このような緩和戦略を展開したり、分類を自動適用しようとするときに直面するオープンな課題を強調して、結論付けます。

関連論文リスト

• FLEX: Expert-level False-Less EXecution Metric for Reliable Text-to-SQL Benchmark [8.445403382578167]
  本稿では,テキスト対技術システム評価の新しいアプローチであるFLEX(False-Lesscution Execution)を紹介する。 我々の基準は、包括的文脈と洗練された基準で、人間専門家との合意を改善します。 この研究は、テキスト・トゥ・テクニカル・システムのより正確でニュアンスな評価に寄与し、この分野における最先端のパフォーマンスの理解を再構築する可能性がある。
  論文  参考訳（メタデータ） (2024-09-24T01:40:50Z)
• AMBROSIA: A Benchmark for Parsing Ambiguous Questions into Database Queries [56.82807063333088]
  我々は,新たなベンチマークであるAMBROSIAを導入し,テキスト・ツー・オープン・プログラムの開発を促進することを期待する。 私たちのデータセットには、3種類のあいまいさ(スコープのあいまいさ、アタッチメントのあいまいさ、あいまいさ)を示す質問が含まれている。 いずれの場合も、データベースのコンテキストが提供されてもあいまいさは持続する。 これは、スクラッチからデータベースを制御して生成する、新しいアプローチによって実現される。
  論文  参考訳（メタデータ） (2024-06-27T10:43:04Z)
• CodeS: Towards Building Open-source Language Models for Text-to-SQL [42.11113113574589]
  1Bから15Bまでのパラメータを持つ事前学習言語モデルであるCodeSを紹介する。 CodeSは完全にオープンな言語モデルであり、パラメータサイズをはるかに小さくすることで精度が向上する。 我々は、広く使われているスパイダーベンチマークを含む、複数のデータセットの包括的な評価を行う。
  論文  参考訳（メタデータ） (2024-02-26T07:00:58Z)
• Enhancing Text-to-SQL Translation for Financial System Design [5.248014305403357]
  様々なNLPタスクの最先端技術を実現したLarge Language Models (LLMs) について検討する。 本稿では,関係クエリ間の類似性を適切に測定する2つの新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-12-22T14:34:19Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
  テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。 公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。 広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
  論文  参考訳（メタデータ） (2023-05-25T17:19:52Z)
• Wav2SQL: Direct Generalizable Speech-To-SQL Parsing [55.10009651476589]
  Speech-to-Spider (S2Spider) は、与えられたデータベースに対する音声質問をsqlクエリに変換することを目的としている。 ケースドシステム間の誤り合成を回避した,最初の直接音声-話者パーシングモデルWav2を提案する。 実験結果から,Wav2は誤差混成を回避し,ベースラインの精度を最大2.5%向上させることで最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-05-21T19:26:46Z)
• Towards Generalizable and Robust Text-to-SQL Parsing [77.18724939989647]
  本稿では,タスク分解,知識獲得,知識構成からなる新しいTKKフレームワークを提案する。 このフレームワークは,Spider,SParC,Co.データセット上でのすべてのシナリオと最先端のパフォーマンスに有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-23T09:21:27Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)
• KaggleDBQA: Realistic Evaluation of Text-to-SQL Parsers [26.15889661083109]
  実Webデータベースのクロスドメイン評価データセットであるKDBaggleQAを提案する。 我々は、KDBaggleQAが最先端のゼロショットに挑戦していることを示しているが、より現実的な評価設定と関連するデータベースドキュメントの創造的利用により、その正確性は13.2%以上向上している。
  論文  参考訳（メタデータ） (2021-06-22T00:08:03Z)
• Text-to-SQL in the Wild: A Naturally-Occurring Dataset Based on Stack Exchange Data [3.06261471569622]
  SEDEは12,023対の発話とsqlクエリを備えたデータセットである。 これらのペアには、他のセマンティック解析データセットにはほとんど反映されていない、さまざまな現実的な課題が含まれていることが示されています。
  論文  参考訳（メタデータ） (2021-06-09T12:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。