論文の概要: PromptMind Team at EHRSQL-2024: Improving Reliability of SQL Generation using Ensemble LLMs
- arxiv url: http://arxiv.org/abs/2405.08839v1
- Date: Tue, 14 May 2024 07:16:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-16 15:15:00.925237
- Title: PromptMind Team at EHRSQL-2024: Improving Reliability of SQL Generation using Ensemble LLMs
- Title（参考訳）: EHRSQL-2024のPromptMindチーム: Ensemble LLMによるSQL生成の信頼性向上
- Authors: Satya K Gundabathula, Sriram R Kolar,
- Abstract要約: 本稿では,大規模言語モデルを用いてEHRクエリの生成を促進および微調整する2つの手法を提案する。
どちらの手法も、LLMが訓練されている実世界の知識と、そのタスクに必要なドメイン固有の知識とのギャップを埋めることに集中する。
提案手法は誤りの低減により生成信頼性をさらに高めることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents our approach to the EHRSQL-2024 shared task, which aims to develop a reliable Text-to-SQL system for electronic health records. We propose two approaches that leverage large language models (LLMs) for prompting and fine-tuning to generate EHRSQL queries. In both techniques, we concentrate on bridging the gap between the real-world knowledge on which LLMs are trained and the domain specific knowledge required for the task. The paper provides the results of each approach individually, demonstrating that they achieve high execution accuracy. Additionally, we show that an ensemble approach further enhances generation reliability by reducing errors. This approach secured us 2nd place in the shared task competition. The methodologies outlined in this paper are designed to be transferable to domain-specific Text-to-SQL problems that emphasize both accuracy and reliability.
- Abstract（参考訳）: 本稿では,電子カルテのための信頼性の高いテキスト・トゥ・SQLシステムの開発を目的とした,EHRSQL-2024共有タスクへのアプローチを提案する。
本稿では,大規模言語モデル(LLM)を利用して,EHRSQLクエリの生成を促進および微調整する2つのアプローチを提案する。
どちらの手法も、LLMが訓練されている実世界の知識と、そのタスクに必要なドメイン固有の知識とのギャップを埋めることに集中する。
本論文は,各アプローチの結果を個別に提供し,高い実行精度を達成できることを実証する。
さらに,アンサンブルアプローチにより,誤りの低減による生成信頼性の向上が図られる。
このアプローチは、共有タスクコンペで2位を獲得しました。
本稿で概説した手法は,精度と信頼性の両方を重視したドメイン固有のテキスト-SQL問題への転送が可能なように設計されている。
関連論文リスト
- PTD-SQL: Partitioning and Targeted Drilling with LLMs in Text-to-SQL [54.304872649870575]
大規模言語モデル(LLM)は、テキスト・トゥ・センス・タスクの強力なツールとして登場した。
本研究では,クエリグループパーティショニングを用いることで,単一問題に特有の思考プロセスの学習に集中できることを示す。
論文 参考訳（メタデータ） (2024-09-21T09:33:14Z) - DAC: Decomposed Automation Correction for Text-to-SQL [51.48239006107272]
De Automation Correction (DAC)を導入し、エンティティリンクとスケルトン解析を分解することでテキストから合成を補正する。
また,本手法では,ベースライン法と比較して,スパイダー,バード,カグルDBQAの平均値が平均3.7%向上することを示した。
論文 参考訳（メタデータ） (2024-08-16T14:43:15Z) - Interactive-T2S: Multi-Turn Interactions for Text-to-SQL with Large Language Models [9.914489049993495]
本稿では,データベースとの直接対話を通じてクエリを生成するフレームワークであるInteractive-T2Sを紹介する。
フレームワーク内のステップワイズ推論プロセスを示すための詳細な例を開発してきた。
BIRD-Devデータセットを用いた実験により,本手法が最先端の成果を達成できたのは2つの例に過ぎなかった。
論文 参考訳（メタデータ） (2024-08-09T07:43:21Z) - TACT: Advancing Complex Aggregative Reasoning with Information Extraction Tools [51.576974932743596]
大規模言語モデル(LLM)は、テキスト間の情報の集約を必要とするクエリではよく機能しないことが多い。
TACTには、1つ以上のテキストに散らばる縫合情報を要求する難しい命令が含まれている。
既存のテキストと関連するテーブルのデータセットを活用することで、このデータセットを構築します。
現代のLLMはいずれも,このデータセットでは性能が悪く,精度が38%以下であることが実証された。
論文 参考訳（メタデータ） (2024-06-05T20:32:56Z) - LG AI Research & KAIST at EHRSQL 2024: Self-Training Large Language Models with Pseudo-Labeled Unanswerable Questions for a Reliable Text-to-SQL System on EHRs [58.59113843970975]
テキストから回答へのモデルは、Electronic Health Recordsを知識のない医療専門家に利用できるようにする上で重要なものだ。
疑似ラベル付き非解答質問を用いた自己学習戦略を提案し,EHRのテキスト・ツー・アンサーモデルの信頼性を高める。
論文 参考訳（メタデータ） (2024-05-18T03:25:44Z) - Enhancing Text-to-SQL Translation for Financial System Design [5.248014305403357]
様々なNLPタスクの最先端技術を実現したLarge Language Models (LLMs) について検討する。
本稿では,関係クエリ間の類似性を適切に測定する2つの新しい指標を提案する。
論文 参考訳（メタデータ） (2023-12-22T14:34:19Z) - Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
論文 参考訳（メタデータ） (2023-08-29T14:59:54Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳（メタデータ） (2023-05-26T21:39:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。