論文の概要: LG AI Research & KAIST at EHRSQL 2024: Self-Training Large Language Models with Pseudo-Labeled Unanswerable Questions for a Reliable Text-to-SQL System on EHRs
- arxiv url: http://arxiv.org/abs/2405.11162v1
- Date: Sat, 18 May 2024 03:25:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 19:07:29.623828
- Title: LG AI Research & KAIST at EHRSQL 2024: Self-Training Large Language Models with Pseudo-Labeled Unanswerable Questions for a Reliable Text-to-SQL System on EHRs
- Title（参考訳）: LG AI Research & KAIST - EHRSQL 2024: EHR上での信頼性の高いテキスト-SQLシステムに対する疑似ラベル付き未解決質問による大規模言語モデルの自己学習
- Authors: Yongrae Jo, Seongyun Lee, Minju Seo, Sung Ju Hwang, Moontae Lee,
- Abstract要約: テキストから回答へのモデルは、Electronic Health Recordsを知識のない医療専門家に利用できるようにする上で重要なものだ。
疑似ラベル付き非解答質問を用いた自己学習戦略を提案し,EHRのテキスト・ツー・アンサーモデルの信頼性を高める。
- 参考スコア（独自算出の注目度）: 58.59113843970975
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-to-SQL models are pivotal for making Electronic Health Records (EHRs) accessible to healthcare professionals without SQL knowledge. With the advancements in large language models, these systems have become more adept at translating complex questions into SQL queries. Nonetheless, the critical need for reliability in healthcare necessitates these models to accurately identify unanswerable questions or uncertain predictions, preventing misinformation. To address this problem, we present a self-training strategy using pseudo-labeled unanswerable questions to enhance the reliability of text-to-SQL models for EHRs. This approach includes a two-stage training process followed by a filtering method based on the token entropy and query execution. Our methodology's effectiveness is validated by our top performance in the EHRSQL 2024 shared task, showcasing the potential to improve healthcare decision-making through more reliable text-to-SQL systems.
- Abstract（参考訳）: テキストからSQLへのモデルは、Electronic Health Records(EHR)を、SQLの知識のない医療専門家にアクセスできるようにする上で重要なものだ。
大規模言語モデルの進歩により、これらのシステムはより複雑な質問をSQLクエリに変換するのに適している。
それでも、医療における信頼性に対する重要な必要性は、これらのモデルを正確に特定し、不確実な予測をし、誤った情報を防ぐ必要がある。
この問題に対処するために、擬似ラベル付き未解決質問を用いた自己学習戦略を提案し、EHRのテキスト-SQLモデルの信頼性を高める。
このアプローチには、2段階のトレーニングプロセスと、トークンエントロピーとクエリ実行に基づくフィルタリング方法が含まれている。
我々の方法論の有効性は、EHRSQL 2024共有タスクの最高のパフォーマンスによって検証され、より信頼性の高いテキスト・トゥ・SQLシステムを通じて医療上の意思決定を改善する可能性を示している。
関連論文リスト
- Learning from Imperfect Data: Towards Efficient Knowledge Distillation of Autoregressive Language Models for Text-to-SQL [83.99974309930072]
知識蒸留(KD)は、より大規模な教師モデルをより小さな学生モデルに蒸留することを目的とした一般的な手法である。
我々は,不完全なデータ,すなわちKIDを用いてKDを改善することを提案する。
KIDは、すべてのモデルタイプとサイズで一貫した、重要なパフォーマンス向上を達成するだけでなく、トレーニング効率を効果的に向上する。
論文 参考訳（メタデータ） (2024-10-15T07:51:00Z) - PromptMind Team at EHRSQL-2024: Improving Reliability of SQL Generation using Ensemble LLMs [0.0]
本稿では,大規模言語モデルを用いてEHRクエリの生成を促進および微調整する2つの手法を提案する。
どちらの手法も、LLMが訓練されている実世界の知識と、そのタスクに必要なドメイン固有の知識とのギャップを埋めることに集中する。
提案手法は誤りの低減により生成信頼性をさらに高めることを示す。
論文 参考訳（メタデータ） (2024-05-14T07:16:56Z) - Overview of the EHRSQL 2024 Shared Task on Reliable Text-to-SQL Modeling on Electronic Health Records [12.692089512684955]
1つの戦略は質問応答システムを構築することであり、おそらくはテキスト・ツー・リレーショナル・モデルを活用することである。
EHR 2024共有タスクは、EHRのための質問応答システムの開発における研究の推進と促進を目的としている。
共有タスクに応募した100人以上の参加者のうち、8チームが編成され、共有タスク要求全体を完成させた。
論文 参考訳（メタデータ） (2024-05-04T04:12:18Z) - ProbGate at EHRSQL 2024: Enhancing SQL Query Generation Accuracy through Probabilistic Threshold Filtering and Error Handling [0.0]
本稿では, エントロピーに基づく不確定な結果の抽出とフィルタリングを行う手法を提案する。
我々は,提案手法が解答不能な質問をフィルタリングできることを実験的に検証した。
論文 参考訳（メタデータ） (2024-04-25T14:55:07Z) - Retrieval augmented text-to-SQL generation for epidemiological question answering using electronic health records [0.6138671548064356]
本稿では,テキスト・ツー・ジェネレーションと検索拡張生成(RAG)を組み合わせて疫学的な疑問に答えるエンド・ツー・エンド手法を提案する。
RAGは、現実的な業界環境で示すように、彼らの能力を改善するための有望な方向性を提供します。
論文 参考訳（メタデータ） (2024-03-14T09:45:05Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳（メタデータ） (2023-05-26T21:39:05Z) - Towards Understanding the Generalization of Medical Text-to-SQL Models
and Datasets [46.12592636378064]
医療分野におけるテキスト・ツー・ジェネレーションの解決にはまだまだ長い道のりがある。
精度は92%から28%に低下し,性能が大幅に低下した現状の言語モデルを評価した。
本稿では,関係言語モデルの一般化性を改善するために,新たなデータ拡張手法を提案する。
論文 参考訳（メタデータ） (2023-03-22T20:26:30Z) - Dr.Spider: A Diagnostic Evaluation Benchmark towards Text-to-SQL
Robustness [115.66421993459663]
近年の研究では、テキスト・ツー・モデルはタスク固有の摂動に弱いことが示されている。
モデル診断のための包括的ロバスト性ベンチマークを提案する。
我々は、そのセット上の最先端モデルの診断研究を行う。
論文 参考訳（メタデータ） (2023-01-21T03:57:18Z) - EHRSQL: A Practical Text-to-SQL Benchmark for Electronic Health Records [36.213730355895805]
発声は、医師、看護師、保険審査・健康記録チームを含む222人の病院職員から集められた。
我々はこれらの質問を、MIMIC-IIIとeICUの2つのオープンソースのEHRデータベースに手動でリンクし、データセットに様々な時間表現と解決不可能な質問を格納した。
論文 参考訳（メタデータ） (2023-01-16T05:10:20Z) - A Survey on Text-to-SQL Parsing: Concepts, Methods, and Future
Directions [102.8606542189429]
テキストからコーパスへのパースの目的は、自然言語(NL)質問をデータベースが提供するエビデンスに基づいて、対応する構造化クエリ言語()に変換することである。
ディープニューラルネットワークは、入力NL質問から出力クエリへのマッピング関数を自動的に学習するニューラルジェネレーションモデルによって、このタスクを大幅に進歩させた。
論文 参考訳（メタデータ） (2022-08-29T14:24:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。