論文の概要: Generalist embedding models are better at short-context clinical semantic search than specialized embedding models

• arxiv url: http://arxiv.org/abs/2401.01943v1
• Date: Wed, 3 Jan 2024 19:03:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-05 16:32:40.253026
• Title: Generalist embedding models are better at short-context clinical semantic search than specialized embedding models
• Title（参考訳）: ジェネラリスト埋め込みモデルは特殊埋め込みモデルよりも短文脈臨床意味検索に優れている
• Authors: Jean-Baptiste Excoffier, Tom Roehr, Alexei Figueroa, Michalis Papaaioannou, Keno Bressem, Matthieu Ortala
• Abstract要約: ICD-10-CMのコード記述と容易に再現可能な言い換えに基づくデータセットを構築する。 セマンティックサーチタスクにおいて、ジェネラリストまたは臨床領域専門の既存の埋め込みモデルをベンチマークした。 その結果、ジェネラリストモデルは臨床モデルよりも優れており、既存の臨床特化モデルは、それらを混乱させる入力の小さな変化に対してより敏感であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing use of tools and solutions based on Large Language Models (LLMs) for various tasks in the medical domain has become a prominent trend. Their use in this highly critical and sensitive domain has thus raised important questions about their robustness, especially in response to variations in input, and the reliability of the generated outputs. This study addresses these questions by constructing a textual dataset based on the ICD-10-CM code descriptions, widely used in US hospitals and containing many clinical terms, and their easily reproducible rephrasing. We then benchmarked existing embedding models, either generalist or specialized in the clinical domain, in a semantic search task where the goal was to correctly match the rephrased text to the original description. Our results showed that generalist models performed better than clinical models, suggesting that existing clinical specialized models are more sensitive to small changes in input that confuse them. The highlighted problem of specialized models may be due to the fact that they have not been trained on sufficient data, and in particular on datasets that are not diverse enough to have a reliable global language understanding, which is still necessary for accurate handling of medical documents.
• Abstract（参考訳）: 医療領域における様々なタスクに対して,LLM(Large Language Models)に基づくツールやソリューションの利用が増加傾向にある。 この極めて批判的かつ敏感な領域でのそれらの使用は、特に入力の変動と生成された出力の信頼性に対するロバスト性に関する重要な疑問を提起している。 本研究は、icd-10-cmのコード記述に基づくテキストデータセットを構築し、米国の病院で広く使用されており、多くの臨床用語を含む。 次に,既存の埋め込みモデルであるジェネラリストや臨床領域の専門知識をセマンティック検索タスクでベンチマークし,リフレッシュされたテキストと元の記述とを正しく一致させることを目標とした。 以上の結果から,臨床モデルよりもジェネラリストモデルの方が優れた結果が得られ,既存の臨床特化モデルの方が入力の小さな変化に敏感であることが示唆された。 専門的なモデルの強調された問題は、十分なデータで訓練されていないことと、特に信頼できるグローバル言語理解を持つのに十分な多様性を持たないデータセットが、医学文書の正確な処理に依然として必要であるという事実にあるかもしれない。

関連論文リスト

• LoRKD: Low-Rank Knowledge Decomposition for Medical Foundation Models [59.961172635689664]
  知識分解」は、特定の医療課題のパフォーマンス向上を目的としている。 我々はLow-Rank Knowledge Decomposition(LoRKD)という新しいフレームワークを提案する。 LoRKDは、低ランクのエキスパートモジュールと効率的な知識分離畳み込みを組み込むことで、グラデーションを異なるタスクから明確に分離する。
  論文  参考訳（メタデータ） (2024-09-29T03:56:21Z)
• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• Comprehensive Study on German Language Models for Clinical and Biomedical Text Understanding [16.220303664681172]
  我々は、翻訳された英語の医療データとドイツの臨床データの3Bトークンから2.4Bトークンを抽出し、いくつかのドイツの医療言語モデルを事前訓練した。 得られたモデルは、名前付きエンティティ認識(NER)、多ラベル分類、抽出質問応答など、様々なドイツの下流タスクで評価された。 本研究は, 臨床モデルとスクラッチからトレーニングした成績を一致させたり, 上回ったりする能力が, 連続事前訓練によって実証されていることを結論する。
  論文  参考訳（メタデータ） (2024-04-08T17:24:04Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Using text embedding models and vector databases as text classifiers with the example of medical data [0.0]
  本稿では, 医学分野における例と応用例を用いて, テキストを符号化し, 分類する手段として, ベクトルデータベースと埋め込みモデルの利用について検討する。 これらのツールの堅牢性は、提示されるデータの空間性に大きく依存していることを示し、ベクトルデータベース自体の低量のデータであっても、ベクトルデータベースはデータを分類するのに良い仕事をする。
  論文  参考訳（メタデータ） (2024-02-07T22:15:15Z)
• Do We Still Need Clinical Language Models? [15.023633270864675]
  比較的小さな専門的な臨床モデルでは、コンテキスト内学習のアプローチが大幅に優れていることを示す。 physioNet Credentialed Health Dataライセンスとデータ使用契約の下で使用されるコードとモデルをリリースします。
  論文  参考訳（メタデータ） (2023-02-16T05:08:34Z)
• Developing a general-purpose clinical language inference model from a large corpus of clinical notes [0.30586855806896046]
  カリフォルニア大学サンフランシスコ校(UCSF)で著述された7500万の同定された臨床記録を多種多様な同定コーパスを用いて,BERTモデルからBi Domain Decoderを訓練した。 本モデルは,UCSFデータを用いた2つのタスクのシステム内評価において,これらのモデルと同等の大きさのバイオメディカル言語モデルと同等の性能を発揮した。
  論文  参考訳（メタデータ） (2022-10-12T20:08:45Z)
• Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
  本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。 目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。 本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
  論文  参考訳（メタデータ） (2021-08-02T10:42:52Z)
• Does the Magic of BERT Apply to Medical Code Assignment? A Quantitative Study [2.871614744079523]
  事前訓練されたモデルが、さらなるアーキテクチャエンジニアリングなしで医療コード予測に有用かどうかは明らかではない。 本稿では,単語間のインタラクションをキャプチャし,ラベル情報を活用する階層的な微調整アーキテクチャを提案する。 現在の傾向とは対照的に、我々は慎重に訓練された古典的なCNNは、頻繁なコードでMIMIC-IIIサブセット上の注意ベースのモデルを上回ることを実証します。
  論文  参考訳（メタデータ） (2021-03-11T07:23:45Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。