論文の概要: Towards Understanding the Generalization of Medical Text-to-SQL Models and Datasets

• arxiv url: http://arxiv.org/abs/2303.12898v1
• Date: Wed, 22 Mar 2023 20:26:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 16:28:12.877457
• Title: Towards Understanding the Generalization of Medical Text-to-SQL Models and Datasets
• Title（参考訳）: 医療用テキスト-SQLモデルとデータセットの一般化の理解に向けて
• Authors: Richard Tarbell, Kim-Kwang Raymond Choo, Glenn Dietrich and Anthony Rios
• Abstract要約: 医療分野におけるテキスト・ツー・ジェネレーションの解決にはまだまだ長い道のりがある。 精度は92%から28%に低下し,性能が大幅に低下した現状の言語モデルを評価した。 本稿では,関係言語モデルの一般化性を改善するために,新たなデータ拡張手法を提案する。
• 参考スコア（独自算出の注目度）: 46.12592636378064
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Electronic medical records (EMRs) are stored in relational databases. It can be challenging to access the required information if the user is unfamiliar with the database schema or general database fundamentals. Hence, researchers have explored text-to-SQL generation methods that provide healthcare professionals direct access to EMR data without needing a database expert. However, currently available datasets have been essentially "solved" with state-of-the-art models achieving accuracy greater than or near 90%. In this paper, we show that there is still a long way to go before solving text-to-SQL generation in the medical domain. To show this, we create new splits of the existing medical text-to-SQL dataset MIMICSQL that better measure the generalizability of the resulting models. We evaluate state-of-the-art language models on our new split showing substantial drops in performance with accuracy dropping from up to 92% to 28%, thus showing substantial room for improvement. Moreover, we introduce a novel data augmentation approach to improve the generalizability of the language models. Overall, this paper is the first step towards developing more robust text-to-SQL models in the medical domain.\footnote{The dataset and code will be released upon acceptance.
• Abstract（参考訳）: 電子カルテ(EMR)はリレーショナルデータベースに格納される。 ユーザがデータベーススキーマや一般的なデータベース基盤に精通していない場合、必要な情報にアクセスするのは困難です。 したがって、研究者は、データベースの専門家を必要とせずに、医療専門家がEMRデータに直接アクセスするためのテキストからSQL生成方法を模索してきた。 しかし、現在利用可能なデータセットは本質的に「解決」され、最先端のモデルが90%以上の精度を達成する。 本稿では,医療領域におけるテキスト・トゥ・SQL生成の解決にはまだ長い道のりがあることを示す。 これを示すために、既存の医療用テキスト-SQLデータセットMIMICSQLの新しい分割を作成し、その結果のモデルの一般化性をよりよく測定する。 新しい分割で最先端言語モデルを評価し、パフォーマンスが大幅に低下し、精度が最大92%から28%に低下した。 さらに,言語モデルの一般化性を向上させるための新しいデータ拡張手法を提案する。 全体として、本論文は医療領域でより堅牢なテキスト対sqlモデルを開発するための第一歩となる。 データセットとコードは、受理時にリリースされます。

関連論文リスト

• LG AI Research & KAIST at EHRSQL 2024: Self-Training Large Language Models with Pseudo-Labeled Unanswerable Questions for a Reliable Text-to-SQL System on EHRs [58.59113843970975]
  テキストから回答へのモデルは、Electronic Health Recordsを知識のない医療専門家に利用できるようにする上で重要なものだ。 疑似ラベル付き非解答質問を用いた自己学習戦略を提案し,EHRのテキスト・ツー・アンサーモデルの信頼性を高める。
  論文  参考訳（メタデータ） (2024-05-18T03:25:44Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• Retrieval augmented text-to-SQL generation for epidemiological question answering using electronic health records [0.6138671548064356]
  本稿では,テキスト・ツー・ジェネレーションと検索拡張生成(RAG)を組み合わせて疫学的な疑問に答えるエンド・ツー・エンド手法を提案する。 RAGは、現実的な業界環境で示すように、彼らの能力を改善するための有望な方向性を提供します。
  論文  参考訳（メタデータ） (2024-03-14T09:45:05Z)
• Evaluating the Data Model Robustness of Text-to-SQL Systems Based on Real User Queries [4.141402725050671]
  本論文は,テキスト・ツー・システムのデータモデルロバスト性について,実際に評価した最初の事例である。 サッカーDBはFIFAワールドカップ2022の文脈で9ヶ月にわたって展開されたシステムである。 データはすべて、システムにライブで質問された実際のユーザ質問に基づいています。これらの質問のサブセットを手動でラベル付けし、3つの異なるデータモデルに翻訳しました。
  論文  参考訳（メタデータ） (2024-02-13T10:28:57Z)
• Using text embedding models and vector databases as text classifiers with the example of medical data [0.0]
  本稿では, 医学分野における例と応用例を用いて, テキストを符号化し, 分類する手段として, ベクトルデータベースと埋め込みモデルの利用について検討する。 これらのツールの堅牢性は、提示されるデータの空間性に大きく依存していることを示し、ベクトルデータベース自体の低量のデータであっても、ベクトルデータベースはデータを分類するのに良い仕事をする。
  論文  参考訳（メタデータ） (2024-02-07T22:15:15Z)
• Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQLs [89.68522473384522]
  テキストから効率のよいタスクをベースとした大規模データベースのための大規模なベンチマークであるBirdを紹介します。 データベースの値に重点を置いていると、汚いデータベースコンテンツに対する新たな課題が浮き彫りになる。 最も効果的なテキストから効率のよいモデルであるChatGPTでさえ、実行精度はわずか40.08%である。
  論文  参考訳（メタデータ） (2023-05-04T19:02:29Z)
• Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training [86.91380874390778]
  本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。 実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
  論文  参考訳（メタデータ） (2020-12-18T15:53:50Z)
• IGSQL: Database Schema Interaction Graph Based Neural Model for Context-Dependent Text-to-SQL Generation [61.09660709356527]
  本稿では,データベーススキーマインタラクショングラフエンコーダを提案し,データベーススキーマ項目の履歴情報を利用する。 ベンチマークSParCおよびCoデータセットを用いて,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2020-11-11T12:56:21Z)
• Data Agnostic RoBERTa-based Natural Language to SQL Query Generation [0.0]
  NL2タスクは、自然言語による質問から有効なクエリへの変換問題を解決するために、ディープラーニングアプローチを見つけることを目的としている。 データプライバシに関するアプローチを,その中核として紹介しています。 成果は得られていないが、モデルのトレーニングからテーブルの必要性を排除した。
  論文  参考訳（メタデータ） (2020-10-11T13:18:46Z)
• Predicting Unplanned Readmissions with Highly Unstructured Data [0.0]
  深層学習技術は、医療センターにおける患者の未計画の寛解を予測するのに成功している。 現在提案されているほとんどのモデルは、英語のテキストデータに合わせており、電子カルテは先進国で一般的な標準に従っていると仮定している。 本稿では,従来の文献のモデルに比べて構造化の少ないデータを消費する未計画の読み出しを予測するためのディープラーニングアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-19T23:21:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。