論文の概要: KU-DMIS at EHRSQL 2024:Generating SQL query via question templatization in EHR
- arxiv url: http://arxiv.org/abs/2406.00014v1
- Date: Wed, 22 May 2024 02:15:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-09 16:19:21.695787
- Title: KU-DMIS at EHRSQL 2024:Generating SQL query via question templatization in EHR
- Title（参考訳）: KU-DMIS at EHRSQL 2024:Generating SQL query via question templatization in EHR
- Authors: Hajung Kim, Chanhwi Kim, Hoonick Lee, Kyochul Jang, Jiwoo Lee, Kyungjae Lee, Gangwoo Kim, Jaewoo Kang,
- Abstract要約: 本稿では、ドメイン外質問とクエリ実行で生成されたクエリを堅牢に処理する新しいテキスト・ツー・ドメインフレームワークを提案する。
我々は,強力な大規模言語モデル (LLM) と細調整のGPT-3.5を用いて,EHRデータベースシステムのテーブルスキーマを含む詳細なプロンプトを出力する。
- 参考スコア（独自算出の注目度）: 17.998140363824174
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transforming natural language questions into SQL queries is crucial for precise data retrieval from electronic health record (EHR) databases. A significant challenge in this process is detecting and rejecting unanswerable questions that request information beyond the database's scope or exceed the system's capabilities. In this paper, we introduce a novel text-to-SQL framework that robustly handles out-of-domain questions and verifies the generated queries with query execution.Our framework begins by standardizing the structure of questions into a templated format. We use a powerful large language model (LLM), fine-tuned GPT-3.5 with detailed prompts involving the table schemas of the EHR database system. Our experimental results demonstrate the effectiveness of our framework on the EHRSQL-2024 benchmark benchmark, a shared task in the ClinicalNLP workshop. Although a straightforward fine-tuning of GPT shows promising results on the development set, it struggled with the out-of-domain questions in the test set. With our framework, we improve our system's adaptability and achieve competitive performances in the official leaderboard of the EHRSQL-2024 challenge.
- Abstract（参考訳）: 自然言語の質問をSQLクエリに変換することは、EHR(Electronic Health Record)データベースからの正確なデータ検索に不可欠である。
このプロセスにおける重要な課題は、データベースの範囲を超えて情報を要求したり、システムの能力を超過するような、解決不可能な質問を検出し、拒否することである。
本稿では、ドメイン外質問を頑健に処理し、クエリ実行で生成されたクエリを検証する新しいテキスト間SQLフレームワークについて紹介する。
我々は強力な大規模言語モデル(LLM)を用いており、細調整されたGPT-3.5で、EHRデータベースシステムのテーブルスキーマを含む詳細なプロンプトを処理している。
EHRSQL-2024ベンチマークでは,臨床NLPワークショップで共有タスクであるEHRSQL-2024ベンチマークの有効性が実証された。
GPTの直感的な微調整は、開発セットで有望な結果を示すが、テストセットのドメイン外の問題に苦労した。
われわれのフレームワークでは、EHRSQL-2024チャレンジの公式リーダーボードにおいて、システムの適応性を改善し、競争性能を達成する。
関連論文リスト
- E-SQL: Direct Schema Linking via Question Enrichment in Text-to-SQL [1.187832944550453]
E-レポジトリは、直接スキーマリンクと候補述語拡張による課題に対処するために設計された新しいパイプラインである。
E-は、関連するデータベースアイテム(テーブル、列、値)と条件を質問に直接組み込むことで、自然言語クエリを強化し、クエリとデータベース構造の間のギャップを埋める。
本研究では,従来の研究で広く研究されてきた手法であるスキーマフィルタリングの影響について検討し,先進的な大規模言語モデルと並行して適用した場合のリターンの低下を実証する。
論文 参考訳（メタデータ） (2024-09-25T09:02:48Z) - SelECT-SQL: Self-correcting ensemble Chain-of-Thought for Text-to-SQL [3.422309388045878]
SelECT-は、チェーン・オブ・シンク、自己補正、アンサンブルの手法をアルゴリズムで組み合わせた、新しいインコンテキスト学習ソリューションである。
具体的には、GPTをベースLLMとして使用する場合、SelECT-Turboはスパイダーリーダーボードの開発セット上で84.2%の実行精度を達成する。
論文 参考訳（メタデータ） (2024-09-16T05:40:18Z) - Hybrid Querying Over Relational Databases and Large Language Models [8.926173054003547]
実世界の4つのデータベースに対する120以上の問合せを含む最初のクロスドメインベンチマークであるSWANを提示する。
1つはスキーマ拡張に基づくもので、もう1つはユーザ定義関数に基づくものである。
評価の結果,GPT-4Turboを数発のプロンプトで使用すれば,実行精度が40.0%,データ事実性が48.2%まで向上できることがわかった。
論文 参考訳（メタデータ） (2024-08-01T19:29:18Z) - BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
多くの複雑な実世界のクエリは、関連する文書を特定するために詳細な推論を必要とする。
BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。
私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
論文 参考訳（メタデータ） (2024-07-16T17:58:27Z) - LG AI Research & KAIST at EHRSQL 2024: Self-Training Large Language Models with Pseudo-Labeled Unanswerable Questions for a Reliable Text-to-SQL System on EHRs [58.59113843970975]
テキストから回答へのモデルは、Electronic Health Recordsを知識のない医療専門家に利用できるようにする上で重要なものだ。
疑似ラベル付き非解答質問を用いた自己学習戦略を提案し,EHRのテキスト・ツー・アンサーモデルの信頼性を高める。
論文 参考訳（メタデータ） (2024-05-18T03:25:44Z) - Selecting Query-bag as Pseudo Relevance Feedback for Information-seeking Conversations [76.70349332096693]
情報検索対話システムは電子商取引システムで広く利用されている。
クエリバッグに基づくPseudo Relevance Feedback framework(QB-PRF)を提案する。
関連クエリを備えたクエリバッグを構築し、擬似シグナルとして機能し、情報検索の会話をガイドする。
論文 参考訳（メタデータ） (2024-03-22T08:10:32Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳（メタデータ） (2023-05-26T21:39:05Z) - UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。
公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。
広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
論文 参考訳（メタデータ） (2023-05-25T17:19:52Z) - EHRSQL: A Practical Text-to-SQL Benchmark for Electronic Health Records [36.213730355895805]
発声は、医師、看護師、保険審査・健康記録チームを含む222人の病院職員から集められた。
我々はこれらの質問を、MIMIC-IIIとeICUの2つのオープンソースのEHRデータベースに手動でリンクし、データセットに様々な時間表現と解決不可能な質問を格納した。
論文 参考訳（メタデータ） (2023-01-16T05:10:20Z) - Dual Reader-Parser on Hybrid Textual and Tabular Evidence for Open
Domain Question Answering [78.9863753810787]
世界の知識は構造化データベースに保存されている。
クエリ言語は、複雑な推論を必要とする質問に答えるだけでなく、完全な説明可能性を提供することができる。
論文 参考訳（メタデータ） (2021-08-05T22:04:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。