論文の概要: Lessons Learned on Information Retrieval in Electronic Health Records: A Comparison of Embedding Models and Pooling Strategies

• arxiv url: http://arxiv.org/abs/2409.15163v1
• Date: Mon, 23 Sep 2024 16:16:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 14:13:28.245783
• Title: Lessons Learned on Information Retrieval in Electronic Health Records: A Comparison of Embedding Models and Pooling Strategies
• Title（参考訳）: 電子健康記録における情報検索の教訓:埋め込みモデルとプール戦略の比較
• Authors: Skatje Myers, Timothy A. Miller, Yanjun Gao, Matthew M. Churpek, Anoop Mayampurath, Dmitriy Dligach, Majid Afshar,
• Abstract要約: 大きな言語モデルを臨床領域に適用することは、医療記録を処理するという文脈重大な性質のために困難である。 本稿では, 組込みモデルとプール法の違いが臨床領域の情報検索に与える影響について検討する。
• 参考スコア（独自算出の注目度）: 8.822087602255504
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Objective: Applying large language models (LLMs) to the clinical domain is challenging due to the context-heavy nature of processing medical records. Retrieval-augmented generation (RAG) offers a solution by facilitating reasoning over large text sources. However, there are many parameters to optimize in just the retrieval system alone. This paper presents an ablation study exploring how different embedding models and pooling methods affect information retrieval for the clinical domain. Methods: Evaluating on three retrieval tasks on two electronic health record (EHR) data sources, we compared seven models, including medical- and general-domain models, specialized encoder embedding models, and off-the-shelf decoder LLMs. We also examine the choice of embedding pooling strategy for each model, independently on the query and the text to retrieve. Results: We found that the choice of embedding model significantly impacts retrieval performance, with BGE, a comparatively small general-domain model, consistently outperforming all others, including medical-specific models. However, our findings also revealed substantial variability across datasets and query text phrasings. We also determined the best pooling methods for each of these models to guide future design of retrieval systems. Discussion: The choice of embedding model, pooling strategy, and query formulation can significantly impact retrieval performance and the performance of these models on other public benchmarks does not necessarily transfer to new domains. Further studies such as this one are vital for guiding empirically-grounded development of retrieval frameworks, such as in the context of RAG, for the clinical domain.
• Abstract（参考訳）: 目的:大規模言語モデル(LLM)を臨床領域に適用することは,医療記録処理の文脈重大性のために困難である。 Retrieval-augmented Generation (RAG)は、大規模なテキストソースの推論を容易にするソリューションを提供する。 しかし,検索システムだけで最適化すべきパラメータは数多く存在する。 本稿では, 組込みモデルとプール法の違いが臨床領域の情報検索に与える影響について検討する。 方法:2つの電子健康記録(EHR)データソースにおける3つの検索タスクの評価を行い,医用および一般ドメインモデル,特殊なエンコーダ埋め込みモデル,市販のデコーダLLMを含む7つのモデルを比較した。 また、クエリと検索するテキストから独立して、各モデルにプール戦略を埋め込む選択についても検討する。 結果: 組込みモデルの選択は, 比較的小さな汎用ドメインモデルであるBGEにおいて, 検索性能に大きな影響を及ぼすことがわかった。 しかし,本研究では,データセット間の相違やクエリテキストのフレーズの相違も明らかにした。 また,これらのモデルに対して,検索システムの将来の設計を導くための最適なプーリング手法についても検討した。 議論: 埋め込みモデル、プーリング戦略、クエリの定式化の選択は、検索性能に大きな影響を与え、他の公開ベンチマークでのこれらのモデルの性能は、必ずしも新しいドメインに移行するとは限らない。 このようなさらなる研究は、臨床領域におけるRAGなどの検索フレームワークの実証的な開発を導くのに不可欠である。

関連論文リスト

• Rethinking Model Prototyping through the MedMNIST+ Dataset Collection [0.11999555634662634]
  本研究は,MedMNIST+データベースに対する評価環境の多様化のためのベンチマークを示す。 我々は、医用画像分類のための共通畳み込みニューラルネットワーク(CNN)とトランスフォーマーベースのアーキテクチャを徹底的に分析する。 この結果から,計算効率のよいトレーニングスキームと最新の基礎モデルは,高額なエンドツーエンドトレーニングとリソース強化アプローチのギャップを埋める上で有望であることが示唆された。
  論文  参考訳（メタデータ） (2024-04-24T10:19:25Z)
• Adaptive Affinity-Based Generalization For MRI Imaging Segmentation Across Resource-Limited Settings [1.5703963908242198]
  本稿では,適応親和性に基づく蒸留とカーネルベースの蒸留をシームレスに組み合わせた,新しい関係に基づく知識フレームワークを提案する。 革新的アプローチを検証するために,我々は公開されている複数ソースのMRIデータについて実験を行った。
  論文  参考訳（メタデータ） (2024-04-03T13:35:51Z)
• Exploration of the Rashomon Set Assists Trustworthy Explanations for Medical Data [4.499833362998488]
  本稿では,Rashomon集合におけるモデル探索の新たなプロセスを紹介し,従来のモデリング手法を拡張した。 動作の異なるモデルを検出するために,$textttRashomon_DETECT$アルゴリズムを提案する。 モデル間の変動効果の差を定量化するために,機能的データ解析に基づくプロファイル分散指数(PDI)を導入する。
  論文  参考訳（メタデータ） (2023-08-22T13:53:43Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
  放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。 近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。 これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
  論文  参考訳（メタデータ） (2023-04-17T17:13:42Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Adversarial Sample Enhanced Domain Adaptation: A Case Study on Predictive Modeling with Electronic Health Records [57.75125067744978]
  ドメイン適応を容易にするデータ拡張手法を提案する。 逆生成したサンプルはドメイン適応時に使用される。 その結果,本手法の有効性とタスクの一般性が確認された。
  論文  参考訳（メタデータ） (2021-01-13T03:20:20Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。