論文の概要: SM3-Text-to-Query: Synthetic Multi-Model Medical Text-to-Query Benchmark

• arxiv url: http://arxiv.org/abs/2411.05521v1
• Date: Fri, 08 Nov 2024 12:27:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:53:57.890425
• Title: SM3-Text-to-Query: Synthetic Multi-Model Medical Text-to-Query Benchmark
• Title（参考訳）: SM3-Text-to-Query: 合成多モデル医療用テキスト-to-Queryベンチマーク
• Authors: Sithursan Sivasubramaniam, Cedric Osei-Akoto, Yi Zhang, Kurt Stockinger, Jonathan Fuerst,
• Abstract要約: 異なるデータベースモデルは、クエリの複雑さとパフォーマンスに大きな影響を与えます。 SM3-Text-to-Queryは,最初のマルチモデル医療用テキスト-to-Queryベンチマークである。
• 参考スコア（独自算出の注目度）: 4.049028351548513
• License:
• Abstract: Electronic health records (EHRs) are stored in various database systems with different database models on heterogeneous storage architectures, such as relational databases, document stores, or graph databases. These different database models have a big impact on query complexity and performance. While this has been a known fact in database research, its implications for the growing number of Text-to-Query systems have surprisingly not been investigated so far. In this paper, we present SM3-Text-to-Query, the first multi-model medical Text-to-Query benchmark based on synthetic patient data from Synthea, following the SNOMED-CT taxonomy -- a widely used knowledge graph ontology covering medical terminology. SM3-Text-to-Query provides data representations for relational databases (PostgreSQL), document stores (MongoDB), and graph databases (Neo4j and GraphDB (RDF)), allowing the evaluation across four popular query languages, namely SQL, MQL, Cypher, and SPARQL. We systematically and manually develop 408 template questions, which we augment to construct a benchmark of 10K diverse natural language question/query pairs for these four query languages (40K pairs overall). On our dataset, we evaluate several common in-context-learning (ICL) approaches for a set of representative closed and open-source LLMs. Our evaluation sheds light on the trade-offs between database models and query languages for different ICL strategies and LLMs. Last, SM3-Text-to-Query is easily extendable to additional query languages or real, standard-based patient databases.
• Abstract（参考訳）: 電子健康記録(EHR)は、リレーショナルデータベース、ドキュメントストア、グラフデータベースなどの異種ストレージアーキテクチャ上で異なるデータベースモデルを持つ様々なデータベースシステムに格納される。 これらの異なるデータベースモデルは、クエリの複雑さとパフォーマンスに大きな影響を与えます。 これはデータベース研究において知られている事実であるが、テキスト・ツー・クエリ・システムの増加に対する影響は驚くほど調査されていない。 本稿では,SM3-Text-to-Queryについて述べる。SM3-Text-to-Queryは,SNOMED-CT分類法に従って,Syntheaから合成された患者データに基づく,最初のマルチモデル医療用テキスト-to-Queryベンチマークである。 SM3-Text-to-Queryはリレーショナルデータベース(PostgreSQL)、ドキュメントストア(MongoDB)、グラフデータベース(Neo4jとGraphDB(RDF))のデータ表現を提供する。 我々は,408のテンプレート質問を体系的に手作業で開発し,これら4つのクエリ言語(全体として40Kペア)に対して,10Kの多様な自然言語質問/クエリペアのベンチマークを構築した。 提案するデータセットでは,複数の共通コンテキスト内学習(ICL)アプローチを,一組のオープンソースLCMに対して評価する。 我々の評価は、異なるICL戦略とLLMのためのデータベースモデルとクエリ言語間のトレードオフに光を当てている。 最後に、SM3-Text-to-Queryは、追加のクエリ言語や、実際の標準ベースの患者データベースに容易に拡張できる。

関連論文リスト

• Towards Evaluating Large Language Models for Graph Query Generation [49.49881799107061]
  大言語モデル(LLM)は、生成人工知能(GenAI)の景観に革命をもたらしている 本稿では,オープンアクセス LLM を用いてグラフデータベースと対話する強力な言語としてクエリを生成することの課題について比較検討する。 クエリ生成精度を実証的に分析したところ、Claude Sonnet 3.5は特定のドメインでそれよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-11-13T09:11:56Z)
• Text2SQL is Not Enough: Unifying AI and Databases with TAG [47.45480855418987]
  Table-Augmented Generation (TAG) は、データベース上の自然言語の質問に答えるパラダイムである。 我々は、TAG問題を研究するためのベンチマークを開発し、標準手法がクエリの20%以上を正しく答えることを発見した。
  論文  参考訳（メタデータ） (2024-08-27T00:50:14Z)
• UQE: A Query Engine for Unstructured Databases [71.49289088592842]
  構造化されていないデータ分析を可能にするために,大規模言語モデルの可能性を検討する。 本稿では,非構造化データ収集からの洞察を直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。
  論文  参考訳（メタデータ） (2024-06-23T06:58:55Z)
• CHESS: Contextual Harnessing for Efficient SQL Synthesis [1.9506402593665235]
  効率的でスケーラブルなテキスト・ツー・クエリのためのフレームワークであるCHESSを紹介します。 特殊エージェントは4つあり、それぞれが上記の課題の1つをターゲットにしている。 私たちのフレームワークは、さまざまなデプロイメント制約に適応する機能を提供する。
  論文  参考訳（メタデータ） (2024-05-27T01:54:16Z)
• NL2KQL: From Natural Language to Kusto Query [1.7931930942711818]
  NL2KQLは、大規模言語モデル(LLM)を使用して自然言語クエリ(NLQ)をKusto Query Language(KQL)クエリに変換する革新的なフレームワークである。 NL2KQLのパフォーマンスを検証するために、オンライン(クエリ実行に基づく)とオフライン(クエリ解析に基づく)メトリクスの配列を使用します。
  論文  参考訳（メタデータ） (2024-04-03T01:09:41Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
  テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。 公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。 広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
  論文  参考訳（メタデータ） (2023-05-25T17:19:52Z)
• Querying Large Language Models with SQL [16.383179496709737]
  多くのユースケースでは、情報はテキストに格納されるが、構造化データでは利用できない。 事前訓練されたLarge Language Models (LLMs) の台頭に伴い、大量のテキストコーパスから抽出された情報を保存および使用するための効果的なソリューションが現在存在する。 本稿では,従来のデータベースアーキテクチャに基づくプロトタイプであるGaloisについて紹介する。
  論文  参考訳（メタデータ） (2023-04-02T06:58:14Z)
• Improving Text-to-SQL Semantic Parsing with Fine-grained Query Understanding [84.04706075621013]
  トークンレベルのきめ細かいクエリ理解に基づく汎用的モジュール型ニューラルネットワーク解析フレームワークを提案する。 我々のフレームワークは、名前付きエンティティ認識(NER)、ニューラルエンティティリンカ(NEL)、ニューラルエンティティリンカ(NSP)の3つのモジュールから構成されている。
  論文  参考訳（メタデータ） (2022-09-28T21:00:30Z)
• Translating synthetic natural language to database queries: a polyglot deep learning framework [0.0]
  Polyglotterは自然言語検索とデータベースクエリのマッピングをサポートする。 トレーニングのために手動で注釈付きデータを作成する必要はない。 我々のフレームワークは, 合成データベースと実データベースの両方で良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-04-14T17:43:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。