論文の概要: FLEX: Expert-level False-Less EXecution Metric for Reliable Text-to-SQL Benchmark

• arxiv url: http://arxiv.org/abs/2409.19014v3
• Date: Mon, 28 Oct 2024 11:11:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 04:50:50.929257
• Title: FLEX: Expert-level False-Less EXecution Metric for Reliable Text-to-SQL Benchmark
• Title（参考訳）: FLEX: 信頼性の高いテキストからSQLへのベンチマークのためのエキスパートレベルのFalse-Less実行メトリクス
• Authors: Heegyu Kim, Taeyang Jeon, Seunghwan Choi, Seungtaek Choi, Hyunsouk Cho,
• Abstract要約: 本稿では,テキスト対技術システム評価の新しいアプローチであるFLEX(False-Lesscution Execution)を紹介する。 我々の基準は、包括的文脈と洗練された基準で、人間専門家との合意を改善します。 この研究は、テキスト・トゥ・テクニカル・システムのより正確でニュアンスな評価に寄与し、この分野における最先端のパフォーマンスの理解を再構築する可能性がある。
• 参考スコア（独自算出の注目度）: 8.445403382578167
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Text-to-SQL systems have become crucial for translating natural language into SQL queries in various industries, enabling non-technical users to perform complex data operations. The need for accurate evaluation methods has increased as these systems have grown more sophisticated. However, the Execution Accuracy (EX), the most prevalent evaluation metric, still shows many false positives and negatives. Thus, this paper introduces FLEX (False-Less EXecution), a novel approach to evaluating text-to-SQL systems using large language models (LLMs) to emulate human expert-level evaluation of SQL queries. Our metric improves agreement with human experts (from 62 to 87.04 in Cohen's kappa) with comprehensive context and sophisticated criteria. Our extensive experiments yield several key insights: (1) Models' performance increases by over 2.6 points on average, substantially affecting rankings on Spider and BIRD benchmarks; (2) The underestimation of models in EX primarily stems from annotation quality issues; and (3) Model performance on particularly challenging questions tends to be overestimated. This work contributes to a more accurate and nuanced evaluation of text-to-SQL systems, potentially reshaping our understanding of state-of-the-art performance in this field.
• Abstract（参考訳）: テキストからSQLへのシステムは、さまざまな産業で自然言語をSQLクエリに翻訳するために重要となり、技術的でないユーザが複雑なデータ操作を実行できるようになった。 これらのシステムがより洗練されていくにつれて、正確な評価方法の必要性が高まっている。 しかしながら、最も一般的な評価指標であるExecution Accuracy (EX)は、依然として多くの偽陽性と負の値を示している。 そこで本研究では,大規模言語モデル(LLM)を用いてSQLクエリのエキスパートレベル評価をエミュレートする新たなアプローチであるFLEX(False-Less Execution)を提案する。 我々の基準は、包括的文脈と洗練された基準により、人間の専門家(コーエンのカッパでは62から87.04まで)との合意を改善します。 その結果,(1)モデルの性能が平均2.6ポイント以上向上し,スパイダーやBIRDベンチマークのランキングに大きく影響している,(2)EXにおけるモデルの過小評価は,主にアノテーションの品質問題に起因する,(3)特に難解な問題におけるモデル性能は過大評価される傾向にある,という結果が得られた。 この研究は、テキスト・トゥ・SQLシステムのより正確でニュアンスな評価に寄与し、この分野における最先端のパフォーマンスに対する理解を再構築する可能性がある。

関連論文リスト

• Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows [64.94146689665628]
  Spider 2.0は、エンタープライズレベルのデータベースのユースケースから派生した、現実のテキストからsqlの問題に対する評価フレームワークである。 Spider 2.0のデータベースは、実際のデータアプリケーションからソースされ、1,000以上の列を含み、BigQueryやSnowflakeなどのローカルまたはクラウドデータベースシステムに格納されることが多い。 Spider 2.0の問題解決には、データベースメタデータ、方言文書、さらにはプロジェクトレベルの理解と検索が頻繁に必要であることを示す。
  論文  参考訳（メタデータ） (2024-11-12T12:52:17Z)
• Enhancing LLM Fine-tuning for Text-to-SQLs by SQL Quality Measurement [1.392448435105643]
  Text-to-sにより、専門家でないユーザは、自然言語クエリを使用してデータベースから要求された情報を取得することができる。 GPT4やT5のような現在の最先端(SOTA)モデルは、BIRDのような大規模ベンチマークで素晴らしいパフォーマンスを示している。 本稿では,テキスト・ツー・ス・パフォーマンスを向上させるためにSQL Qualityのみを必要とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T17:21:51Z)
• Evaluating the Data Model Robustness of Text-to-SQL Systems Based on Real User Queries [4.141402725050671]
  本論文は,テキスト・ツー・システムのデータモデルロバスト性について,実際に評価した最初の事例である。 サッカーDBはFIFAワールドカップ2022の文脈で9ヶ月にわたって展開されたシステムである。 データはすべて、システムにライブで質問された実際のユーザ質問に基づいています。これらの質問のサブセットを手動でラベル付けし、3つの異なるデータモデルに翻訳しました。
  論文  参考訳（メタデータ） (2024-02-13T10:28:57Z)
• Enhancing Text-to-SQL Translation for Financial System Design [5.248014305403357]
  様々なNLPタスクの最先端技術を実現したLarge Language Models (LLMs) について検討する。 本稿では,関係クエリ間の類似性を適切に測定する2つの新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-12-22T14:34:19Z)
• Reboost Large Language Model-based Text-to-SQL, Text-to-Python, and Text-to-Function -- with Real Applications in Traffic Domain [14.194710636073808]
  これまでのSOTA(State-of-the-art)手法は、スパイダーデータセット上で顕著な実行精度を達成した。 より適応的で汎用的なプロンプト手法を開発し、クエリの書き直しとsqlの高速化を行う。 ビジネスデータセットの実行精度については,SOTA法が21.05,我々のアプローチが65.79であった。
  論文  参考訳（メタデータ） (2023-10-28T16:32:40Z)
• Evaluating Cross-Domain Text-to-SQL Models and Benchmarks [7.388002745070808]
  テキスト・ツー・ベンチマークを研究し、これらのベンチマークの中で最高のパフォーマンスのモデルを再評価する。 これらのベンチマークで完全な性能を達成することは、提供されたサンプルから導出できる複数の解釈のため不可能であることがわかった。 GPT4ベースのモデルは、人間の評価においてスパイダーベンチマークのゴールド標準基準クエリを上回る。
  論文  参考訳（メタデータ） (2023-10-27T23:36:14Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
  テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。 公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。 広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
  論文  参考訳（メタデータ） (2023-05-25T17:19:52Z)
• Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQLs [89.68522473384522]
  テキストから効率のよいタスクをベースとした大規模データベースのための大規模なベンチマークであるBirdを紹介します。 データベースの値に重点を置いていると、汚いデータベースコンテンツに対する新たな課題が浮き彫りになる。 最も効果的なテキストから効率のよいモデルであるChatGPTでさえ、実行精度はわずか40.08%である。
  論文  参考訳（メタデータ） (2023-05-04T19:02:29Z)
• Graphix-T5: Mixing Pre-Trained Transformers with Graph-Aware Layers for Text-to-SQL Parsing [56.232873134174056]
  テキストからテキストへのパースにおける大きな課題の1つはドメインの一般化である。 そこで本研究では,テキスト・トゥ・テキスト・パーシングのための特殊なコンポーネントを備えた事前学習されたテキスト・ツー・テキスト・トランスフォーマー・モデルをさらに強化する方法について検討する。 この目的のために,レイヤを持つグラフ認識モデルによって拡張された新しいアーキテクチャ GRAPHIX-T5 を提案する。
  論文  参考訳（メタデータ） (2023-01-18T13:29:05Z)
• "What Do You Mean by That?" A Parser-Independent Interactive Approach for Enhancing Text-to-SQL [49.85635994436742]
  ループ内に人間を包含し,複数質問を用いてユーザと対話する,新規非依存型対話型アプローチ(PIIA)を提案する。 PIIAは、シミュレーションと人的評価の両方を用いて、限られたインタラクションターンでテキストとドメインのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2020-11-09T02:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。