論文の概要: Error Detection for Text-to-SQL Semantic Parsing

• arxiv url: http://arxiv.org/abs/2305.13683v2
• Date: Wed, 6 Dec 2023 14:09:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 19:14:11.482171
• Title: Error Detection for Text-to-SQL Semantic Parsing
• Title（参考訳）: テキストからSQLへの意味解析における誤り検出
• Authors: Shijie Chen, Ziru Chen, Huan Sun, Yu Su
• Abstract要約: 現代のテキスト・トゥ・セマンティクスは、しばしば過信であり、実際の使用のためにデプロイされた際の信頼性に疑問を呈する。 本稿では,テキスト間セマンティック解析のためのa-独立誤差検出モデルを提案する。
• 参考スコア（独自算出の注目度）: 18.068244400731366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite remarkable progress in text-to-SQL semantic parsing in recent years, the performance of existing parsers is still far from perfect. Specifically, modern text-to-SQL parsers based on deep learning are often over-confident, thus casting doubt on their trustworthiness when deployed for real use. In this paper, we propose a parser-independent error detection model for text-to-SQL semantic parsing. Using a language model of code as its bedrock, we enhance our error detection model with graph neural networks that learn structural features of both natural language questions and SQL queries. We train our model on realistic parsing errors collected from a cross-domain setting, which leads to stronger generalization ability. Experiments with three strong text-to-SQL parsers featuring different decoding mechanisms show that our approach outperforms parser-dependent uncertainty metrics. Our model could also effectively improve the performance and usability of text-to-SQL semantic parsers regardless of their architectures. (Our implementation is available at https://github.com/OSU-NLP-Group/Text2SQL-Error-Detection)
• Abstract（参考訳）: 近年、テキストからsqlへのセマンティクスが著しく進歩しているが、既存のパーサーのパフォーマンスは完璧にはほど遠い。 特に、ディープラーニングに基づく最新のテキストからsqlへのパーサーは、しばしば信頼度が高すぎるため、実際の使用のためにデプロイする場合の信頼性に疑問を投げかける。 本稿では,テキストからsqlへの意味解析のためのパーサー非依存の誤り検出モデルを提案する。 言語モデルのコードを基盤として,自然言語質問とsqlクエリの両方の構造的特徴を学習するグラフニューラルネットワークによるエラー検出モデルを強化する。 我々は、クロスドメイン設定から収集した現実的な解析誤差に基づいてモデルをトレーニングし、より強力な一般化能力をもたらす。 異なる復号機構を備えた3つの強力なテキスト-SQLパーサによる実験により、我々のアプローチはパーサに依存した不確実性指標よりも優れていた。 私たちのモデルは、アーキテクチャに関わらず、text-to-sqlセマンティクスパーサのパフォーマンスとユーザビリティを効果的に改善するでしょう。 (我々の実装はhttps://github.com/OSU-NLP-Group/Text2SQL-Error-detection)。

関連論文リスト

• TrustSQL: Benchmarking Text-to-SQL Reliability with Penalty-Based Scoring [11.78795632771211]
  本稿では,任意の入力質問を正しく処理するモデルとして,テキスト・ツー・信頼性を評価するための新しいベンチマークを提案する。 2つのモデリング手法を用いて,新たなペナルティに基づく評価基準を用いた既存手法の評価を行った。
  論文  参考訳（メタデータ） (2024-03-23T16:12:52Z)
• UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
  テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。 公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。 広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
  論文  参考訳（メタデータ） (2023-05-25T17:19:52Z)
• Text-to-SQL Error Correction with Language Models of Code [24.743066730684742]
  本稿では,テキストとコーパスの自動誤り訂正モデルの構築方法について検討する。 トークンレベルの編集は文脈外であり、時には曖昧であることに気付き、代わりに節レベルの編集モデルを構築することを提案する。
  論文  参考訳（メタデータ） (2023-05-22T14:42:39Z)
• Towards Generalizable and Robust Text-to-SQL Parsing [77.18724939989647]
  本稿では,タスク分解,知識獲得,知識構成からなる新しいTKKフレームワークを提案する。 このフレームワークは,Spider,SParC,Co.データセット上でのすべてのシナリオと最先端のパフォーマンスに有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-23T09:21:27Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)
• A Survey on Text-to-SQL Parsing: Concepts, Methods, and Future Directions [102.8606542189429]
  テキストからコーパスへのパースの目的は、自然言語(NL)質問をデータベースが提供するエビデンスに基づいて、対応する構造化クエリ言語()に変換することである。 ディープニューラルネットワークは、入力NL質問から出力クエリへのマッピング関数を自動的に学習するニューラルジェネレーションモデルによって、このタスクを大幅に進歩させた。
  論文  参考訳（メタデータ） (2022-08-29T14:24:13Z)
• Weakly Supervised Text-to-SQL Parsing through Question Decomposition [53.22128541030441]
  我々は最近提案されたQDMR(QDMR)という意味表現を活用している。 質問やQDMR構造(非専門家によって注釈付けされたり、自動予測されたりする)、回答が与えられたら、我々は自動的にsqlクエリを合成できる。 本結果は,NL-ベンチマークデータを用いて訓練したモデルと,弱い教師付きモデルが競合することを示す。
  論文  参考訳（メタデータ） (2021-12-12T20:02:42Z)
• Photon: A Robust Cross-Domain Text-to-SQL System [189.1405317853752]
  私たちは、マッピングを即座に決定できない自然言語入力にフラグを付けることができる、堅牢でモジュール化されたクロスドメインなNLIDBPhotonを紹介します。 提案手法は,翻訳不能なユーザ入力に対して,テキストからネイティブシステムへのロバストさを効果的に向上させる。
  論文  参考訳（メタデータ） (2020-07-30T07:44:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。