論文の概要: FuncEvalGMN: Evaluating Functional Correctness of SQL via Graph Matching Network

• arxiv url: http://arxiv.org/abs/2407.14530v1
• Date: Tue, 9 Jul 2024 03:05:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-28 18:39:09.761250
• Title: FuncEvalGMN: Evaluating Functional Correctness of SQL via Graph Matching Network
• Title（参考訳）: FuncEvalGMN:グラフマッチングネットワークによるSQLの機能的正確性の評価
• Authors: Yi Zhan, Yang Sun, Han Weng, Longjie Cui, Guifeng Wang, Jiajun Xie, Yu Tian, Xiaoming Yin, Boyi Liu, Dongchi Huang,
• Abstract要約: 本稿では,SQL生成の機能的正しさを評価するためのグラフベースの新しい手法を提案する。 提案手法であるtextttFuncEvalGMN は,テストデータの十分な準備に依存しない。
• 参考スコア（独自算出の注目度）: 8.517407780079207
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a novel graph-based methodology to evaluate the functional correctness of SQL generation. Conventional metrics for assessing SQL code generation, such as matching-based and execution-based methods (e.g., exact set match and execution accuracy), are subject to two primary limitations. Firstly, the former fails to effectively assess functional correctness, as different SQL queries may possess identical functionalities. Secondly, the latter is susceptible to producing false positive samples in evaluations. Our proposed evaluation method, \texttt{FuncEvalGMN}, does not depend on the sufficient preparation of the test data, and it enables precise testing of the functional correctness of the code. Firstly, we parse SQL using a relational operator tree (ROT) called \textit{Relnode}, which contains rich semantic information from the perspective of logical execution.Then, we introduce a GNN-based approach for predicting the functional correctness of generated SQL. This approach incorporates global positional embeddings to address the limitations with the loss of topological information in conventional graph matching frameworks. As an auxiliary contribution, we propose a rule-based matching algorithm, Relnode Partial Matching (\texttt{RelPM}) as a baseline. Finally, we contribute a dataset, \texttt{Pair-Aug-Spider} with a training set and two testing sets, each comprising pairs of SQL codes to simulate various SQL code evaluation scenarios. The training set and one testing dataset focus on code generation using large language models (LLMs), while the other emphasizes SQL equivalence rewriting.
• Abstract（参考訳）: 本稿では,SQL 生成の関数的正確性を評価するための新しいグラフベースの手法を提案する。 マッチングベースのメソッドや実行ベースのメソッド(例えば、正確なセットマッチングと実行の正確性)のような、SQLコード生成を評価するための従来のメトリクスは、2つの主要な制限を受けています。 まず、異なるSQLクエリが同一の機能を持つ可能性があるため、前者は機能的正しさを効果的に評価できない。 第二に、後者は評価において偽陽性のサンプルを生成する可能性がある。 提案手法は,テストデータの十分な準備に依存せず,コードの機能的正しさを正確に検証することができる。 まず、論理的実行の観点からリッチな意味情報を含む関係演算木(ROT)を用いてSQLを解析し、生成したSQLの機能的正しさを予測するためのGNNベースのアプローチを導入する。 このアプローチは、従来のグラフマッチングフレームワークにおけるトポロジ情報の欠如に対処するために、グローバルな位置埋め込みを取り入れている。 本稿では,ルールベースのマッチングアルゴリズムであるRelnode partial Matching (\texttt{RelPM}) をベースラインとして提案する。 最後に、トレーニングセットと2つのテストセットでデータセットである \texttt{Pair-Aug-Spider} をコントリビュートし、それぞれがペアのSQLコードで構成され、さまざまなSQLコード評価シナリオをシミュレートする。 トレーニングセットと1つのテストデータセットは、大きな言語モデル(LLM)を使用したコード生成に重点を置いている。

関連論文リスト

• DAC: Decomposed Automation Correction for Text-to-SQL [51.48239006107272]
  De Automation Correction (DAC)を導入し、エンティティリンクとスケルトン解析を分解することでテキストから合成を補正する。 また,本手法では,ベースライン法と比較して,スパイダー,バード,カグルDBQAの平均値が平均3.7%向上することを示した。
  論文  参考訳（メタデータ） (2024-08-16T14:43:15Z)
• Benchmarking and Improving Text-to-SQL Generation under Ambiguity [25.283118418288293]
  我々はAmbiQTと呼ばれる新しいベンチマークを開発し、各テキストは語彙的および/または構造的あいまいさのために2つのもっともらしいSQLとして解釈できる。 提案するLogicalBeamは,計画ベースのテンプレート生成と制約付きインフィルを併用して,sql論理空間をナビゲートする新しい復号アルゴリズムである。
  論文  参考訳（メタデータ） (2023-10-20T17:00:53Z)
• Error Detection for Text-to-SQL Semantic Parsing [18.068244400731366]
  現代のテキスト・トゥ・セマンティクスは、しばしば過信であり、実際の使用のためにデプロイされた際の信頼性に疑問を呈する。 本稿では,テキスト間セマンティック解析のためのa-独立誤差検出モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:44:22Z)
• STAR: SQL Guided Pre-Training for Context-dependent Text-to-SQL Parsing [64.80483736666123]
  文脈依存型テキスト・ツー・パースのための新しい事前学習フレームワークSTARを提案する。 さらに,STARを事前学習するための大規模コンテキスト依存型テキスト対話コーパスを構築した。 大規模な実験により、STARは2つの下流ベンチマークで新しい最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2022-10-21T11:30:07Z)
• Improving Text-to-SQL Semantic Parsing with Fine-grained Query Understanding [84.04706075621013]
  トークンレベルのきめ細かいクエリ理解に基づく汎用的モジュール型ニューラルネットワーク解析フレームワークを提案する。 我々のフレームワークは、名前付きエンティティ認識(NER)、ニューラルエンティティリンカ(NEL)、ニューラルエンティティリンカ(NSP)の3つのモジュールから構成されている。
  論文  参考訳（メタデータ） (2022-09-28T21:00:30Z)
• A Survey on Text-to-SQL Parsing: Concepts, Methods, and Future Directions [102.8606542189429]
  テキストからコーパスへのパースの目的は、自然言語(NL)質問をデータベースが提供するエビデンスに基づいて、対応する構造化クエリ言語()に変換することである。 ディープニューラルネットワークは、入力NL質問から出力クエリへのマッピング関数を自動的に学習するニューラルジェネレーションモデルによって、このタスクを大幅に進歩させた。
  論文  参考訳（メタデータ） (2022-08-29T14:24:13Z)
• S$^2$SQL: Injecting Syntax to Question-Schema Interaction Graph Encoder for Text-to-SQL Parsers [66.78665327694625]
  テキスト-関係解析のための質問-エンコーダグラフに構文を注入するS$2$を提案する。 また、疎結合制約を用いて多様なエッジ埋め込みを誘導し、ネットワークの性能をさらに向上させる。 スパイダーとロバスト性設定の実験は、提案手法が事前学習モデルを使用する場合、既存のすべての手法より優れていることを示した。
  論文  参考訳（メタデータ） (2022-03-14T09:49:15Z)
• Weakly Supervised Text-to-SQL Parsing through Question Decomposition [53.22128541030441]
  我々は最近提案されたQDMR(QDMR)という意味表現を活用している。 質問やQDMR構造(非専門家によって注釈付けされたり、自動予測されたりする)、回答が与えられたら、我々は自動的にsqlクエリを合成できる。 本結果は,NL-ベンチマークデータを用いて訓練したモデルと,弱い教師付きモデルが競合することを示す。
  論文  参考訳（メタデータ） (2021-12-12T20:02:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。