論文の概要: TheBlueScrubs-v1, a comprehensive curated medical dataset derived from the internet

• arxiv url: http://arxiv.org/abs/2504.02874v1
• Date: Tue, 01 Apr 2025 22:25:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:48:42.513571
• Title: TheBlueScrubs-v1, a comprehensive curated medical dataset derived from the internet
• Title（参考訳）: インターネットから得られた総合的な医療データセットBlueScrubs-v1
• Authors: Luis Felipe, Carlos Garcia, Issam El Naqa, Monique Shotande, Aakash Tripathi, Vivek Rudrapatna, Ghulam Rasool, Danielle Bitterman, Gilmer Valdes,
• Abstract要約: BlueScrubs-v1は、広範囲のインターネットコーパスから得られた2500億以上の医療トークンの収集されたデータセットである。 各テキストには、医療関連性、精度、事実の詳細、安全性と倫理基準を含む3つのLCMベースの品質スコアが割り当てられている。 このData Descriptorは、データセットの作成と検証について詳述し、医療AI研究の潜在的有用性について説明している。
• 参考スコア（独自算出の注目度）: 1.4043931310479378
• License:
• Abstract: The need for robust and diverse data sets to train clinical large language models (cLLMs) is critical given that currently available public repositories often prove too limited in size or scope for comprehensive medical use. While resources like PubMed provide foundational medical literature, they capture only a narrow range of formal publications and omit the broader medical discourse on the internet. To address these deficits, we introduce TheBlueScrubs-v1, a curated dataset of over 25 billion medical tokens - nearly three times larger than PubMed - drawn from a broad-scale internet corpus. Our two-stage filtering pipeline employs a Logistic Regression model for document screening (achieving an AUC of approximately 0.95 on external validation), followed by verification via a 70B-parameter Llama 3.1 instruct model. Each text is assigned three LLM-based quality scores encompassing medical relevance, precision and factual detail, and safety and ethical standards. Clinician reviews confirm high concordance with these automated evaluations, and a specialized cancer classifier further labels approximately 11 billion oncology tokens. Two demonstration tasks highlight the dataset's practical value: first, we distill the safety evaluations to a smaller BERT-style model that reaches an AUC near 0.96 on unseen data; second, we fine-tune a compact LLM on a filtered subset, showing measurable improvements over standard baselines in medical benchmarks as well as private ones. This Data Descriptor details the dataset's creation and validation, underscoring its potential utility for medical AI research.
• Abstract（参考訳）: 臨床大言語モデル(cLLMs)を訓練するための堅牢で多様なデータセットの必要性は、現在利用可能なパブリックリポジトリが、包括的医療使用の規模や範囲があまりに限られていることがしばしば証明されていることを考えると、非常に重要である。 PubMedのようなリソースは基礎的な医学文献を提供するが、公式な出版物は限られており、インターネット上の幅広い医療談話は省略されている。 これらの欠陥に対処するため、幅広いインターネットコーパスから抽出された2500億以上の医療トークン(PubMedの約3倍)のキュレートされたデータセットであるTheBlueScrubs-v1を紹介します。 我々の2段階フィルタリングパイプラインは、文書のスクリーニングにロジスティック回帰モデル(外部検証で約0.95のAUCを達成する)を使用し、続いて70BパラメータのLlama 3.1命令モデルを用いて検証する。 各テキストには、医療関連性、精度、事実の詳細、安全性と倫理基準を含む3つのLCMベースの品質スコアが割り当てられている。 臨床医のレビューでは、これらの自動評価と高く一致しており、専門のがん分類器では、約11億の腫瘍学トークンをラベル付けしている。 まず、未確認データに対して約0.96のAUCに達する小さなBERTスタイルのモデルに安全性評価を蒸留し、第2に、フィルタリングされたサブセット上にコンパクトなLCMを微調整し、医療ベンチマークとプライベートなベンチマークの標準ベースラインよりも測定可能な改善を示す。 このData Descriptorは、データセットの作成と検証について詳述し、医療AI研究の潜在的有用性について説明している。

関連論文リスト

• AutoMIR: Effective Zero-Shot Medical Information Retrieval without Relevance Labels [19.90354530235266]
  本稿では,自己学習仮説文書埋め込み (SL-HyDE) という新しい手法を導入し,この問題に対処する。 SL-HyDEは、与えられたクエリに基づいて仮説文書を生成するために、大きな言語モデル(LLM)をジェネレータとして利用する。 実世界の医療シナリオを基盤とした総合的な評価フレームワークとして,中国医療情報検索ベンチマーク(CMIRB)を提案する。
  論文  参考訳（メタデータ） (2024-10-26T02:53:20Z)
• Representation Learning of Structured Data for Medical Foundation Models [29.10129199884847]
  我々はUniStructアーキテクチャを導入し、構造化されていないテキストと構造化データのマルチモーダル医療基盤モデルを設計する。 本手法は,広範囲な内部医療データベースと構造化医療記録の公開リポジトリのモデル事前学習を通じて検証される。
  論文  参考訳（メタデータ） (2024-10-17T09:02:28Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• Multimodal Pretraining of Medical Time Series and Notes [45.89025874396911]
  ディープラーニングモデルは、意味のあるパターンを抽出する際の約束を示すが、広範囲なラベル付きデータが必要である。 本稿では,臨床測定値とノートのアライメントに着目し,自己指導型事前学習を用いた新しいアプローチを提案する。 病院内での死亡予測や表現型化などの下流タスクでは、データのごく一部がラベル付けされた設定において、ベースラインよりも優れています。
  論文  参考訳（メタデータ） (2023-12-11T21:53:40Z)
• PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
  大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。 LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。 PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
  論文  参考訳（メタデータ） (2023-04-27T18:29:05Z)
• Development and validation of a natural language processing algorithm to pseudonymize documents in the context of a clinical data warehouse [53.797797404164946]
  この研究は、この領域でツールやリソースを共有する際に直面する困難を浮き彫りにしている。 臨床文献のコーパスを12種類に分類した。 私たちは、ディープラーニングモデルと手動ルールの結果をマージして、ハイブリッドシステムを構築します。
  論文  参考訳（メタデータ） (2023-03-23T17:17:46Z)
• Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of Code-Mixed Clinical Texts [56.72488923420374]
  事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。 脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
  論文  参考訳（メタデータ） (2022-04-10T21:46:52Z)
• How to Leverage Multimodal EHR Data for Better Medical Predictions? [13.401754962583771]
  電子健康記録(EHR)データの複雑さは、ディープラーニングの適用の課題である。 本稿では,まずEHRから臨床ノートを抽出し,これらのデータを統合する方法を提案する。 2つの医療予測タスクの結果、異なるデータを持つ融合モデルが最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-10-29T13:26:05Z)
• Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
  本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。 目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。 本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
  論文  参考訳（メタデータ） (2021-08-02T10:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。