論文の概要: ProbGate at EHRSQL 2024: Enhancing SQL Query Generation Accuracy through Probabilistic Threshold Filtering and Error Handling
- arxiv url: http://arxiv.org/abs/2404.16659v1
- Date: Thu, 25 Apr 2024 14:55:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 13:20:37.334983
- Title: ProbGate at EHRSQL 2024: Enhancing SQL Query Generation Accuracy through Probabilistic Threshold Filtering and Error Handling
- Title（参考訳）: EHRSQL 2024のProbGate: 確率論的閾値フィルタリングとエラー処理によるSQLクエリ生成精度の向上
- Authors: Sangryul Kim, Donghee Han, Sehyun Kim,
- Abstract要約: 本稿では, エントロピーに基づく不確定な結果の抽出とフィルタリングを行う手法を提案する。
我々は,提案手法が解答不能な質問をフィルタリングできることを実験的に検証した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, deep learning-based language models have significantly enhanced text-to-SQL tasks, with promising applications in retrieving patient records within the medical domain. One notable challenge in such applications is discerning unanswerable queries. Through fine-tuning model, we demonstrate the feasibility of converting medical record inquiries into SQL queries. Additionally, we introduce an entropy-based method to identify and filter out unanswerable results. We further enhance result quality by filtering low-confidence SQL through log probability-based distribution, while grammatical and schema errors are mitigated by executing queries on the actual database. We experimentally verified that our method can filter unanswerable questions, which can be widely utilized even when the parameters of the model are not accessible, and that it can be effectively utilized in practice.
- Abstract（参考訳）: 近年,深層学習に基づく言語モデルにより,テキストからSQLへのタスクが大幅に向上し,医療領域内の患者記録の検索に有望な応用が期待できる。
このようなアプリケーションで注目すべき課題は、解決不可能なクエリを識別することである。
微調整モデルを用いて、医療記録問合せをSQLクエリに変換する可能性を示す。
さらに,未解決結果の同定とフィルタリングを行うエントロピーに基づく手法を提案する。
実際のデータベース上でクエリを実行することで、文法的およびスキーマ的エラーを軽減しつつ、ログ確率に基づく分布を通して低信頼SQLをフィルタリングすることで、結果の品質をさらに向上する。
提案手法は,モデルのパラメータがアクセスできない場合でも広く利用でき,実際に有効に活用可能であることを実験的に検証した。
関連論文リスト
- Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
言語モデルの性能の効果的な指標としての可能性を示す。
提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
論文 参考訳（メタデータ） (2024-11-12T13:14:09Z) - Context-Aware SQL Error Correction Using Few-Shot Learning -- A Novel Approach Based on NLQ, Error, and SQL Similarity [0.0]
本稿では,誤り訂正 insql 生成のための新しい数ショット学習手法を提案する。
与えられた自然言語質問(NLQ)に対して最も適した少数ショット誤り訂正例を選択することにより、生成されたクエリの精度を向上させる。
オープンソースデータセットを用いた実験では、単純な誤り訂正法により、誤り訂正のない修正エラーが39.2%増加し、10%増加した。
論文 参考訳（メタデータ） (2024-10-11T18:22:08Z) - E-SQL: Direct Schema Linking via Question Enrichment in Text-to-SQL [1.187832944550453]
E-レポジトリは、直接スキーマリンクと候補述語拡張による課題に対処するために設計された新しいパイプラインである。
E-は、関連するデータベースアイテム(テーブル、列、値)と条件を質問に直接組み込むことで、自然言語クエリを強化し、クエリとデータベース構造の間のギャップを埋める。
本研究では,従来の研究で広く研究されてきた手法であるスキーマフィルタリングの影響について検討し,先進的な大規模言語モデルと並行して適用した場合のリターンの低下を実証する。
論文 参考訳（メタデータ） (2024-09-25T09:02:48Z) - DAC: Decomposed Automation Correction for Text-to-SQL [51.48239006107272]
De Automation Correction (DAC)を導入し、エンティティリンクとスケルトン解析を分解することでテキストから合成を補正する。
また,本手法では,ベースライン法と比較して,スパイダー,バード,カグルDBQAの平均値が平均3.7%向上することを示した。
論文 参考訳（メタデータ） (2024-08-16T14:43:15Z) - RH-SQL: Refined Schema and Hardness Prompt for Text-to-SQL [1.734218686180302]
本稿では,精製実行モデルとハードネス・プロンプトに基づくテキスト・トゥ・エクセルの手法を提案する。
パフォーマンスを維持しながら、ストレージとトレーニングのコストを削減する。
スパイダーデータセットに関する我々の実験は、特に大規模なLMを用いて、82.6%の異常な精度(EX)を達成した。
論文 参考訳（メタデータ） (2024-06-13T14:04:34Z) - LG AI Research & KAIST at EHRSQL 2024: Self-Training Large Language Models with Pseudo-Labeled Unanswerable Questions for a Reliable Text-to-SQL System on EHRs [58.59113843970975]
テキストから回答へのモデルは、Electronic Health Recordsを知識のない医療専門家に利用できるようにする上で重要なものだ。
疑似ラベル付き非解答質問を用いた自己学習戦略を提案し,EHRのテキスト・ツー・アンサーモデルの信頼性を高める。
論文 参考訳（メタデータ） (2024-05-18T03:25:44Z) - TrustSQL: Benchmarking Text-to-SQL Reliability with Penalty-Based Scoring [11.78795632771211]
本稿では,任意の入力質問を正しく処理するモデルとして,テキスト・ツー・信頼性を評価するための新しいベンチマークを提案する。
2つのモデリング手法を用いて,新たなペナルティに基づく評価基準を用いた既存手法の評価を行った。
論文 参考訳（メタデータ） (2024-03-23T16:12:52Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳（メタデータ） (2023-05-26T21:39:05Z) - Wav2SQL: Direct Generalizable Speech-To-SQL Parsing [55.10009651476589]
Speech-to-Spider (S2Spider) は、与えられたデータベースに対する音声質問をsqlクエリに変換することを目的としている。
ケースドシステム間の誤り合成を回避した,最初の直接音声-話者パーシングモデルWav2を提案する。
実験結果から,Wav2は誤差混成を回避し,ベースラインの精度を最大2.5%向上させることで最先端の結果が得られることがわかった。
論文 参考訳（メタデータ） (2023-05-21T19:26:46Z) - SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。
5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
論文 参考訳（メタデータ） (2022-09-14T06:27:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。