論文の概要: Does Biomedical Training Lead to Better Medical Performance?

• arxiv url: http://arxiv.org/abs/2404.04067v4
• Date: Tue, 17 Sep 2024 08:19:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 22:20:44.236713
• Title: Does Biomedical Training Lead to Better Medical Performance?
• Title（参考訳）: バイオメディカルトレーニングは医療改善につながるか?
• Authors: Amin Dada, Marie Bauer, Amanda Butler Contreras, Osman Alperen Koraş, Constantin Marc Seibold, Kaleb E Smith, Jens Kleesiek,
• Abstract要約: 大規模言語モデル(LLM)は、患者のケア、診断、管理プロセスに大きく貢献することが期待されている。 本研究では, バイオメディカルトレーニングが6つの実践的医療課題の文脈に及ぼす影響について検討した。
• 参考スコア（独自算出の注目度）: 2.3814275542331385
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) are expected to significantly contribute to patient care, diagnostics, and administrative processes. Emerging biomedical LLMs aim to address healthcare-specific challenges, including privacy demands and computational constraints. Assessing the models' suitability for this sensitive application area is of the utmost importance. However, biomedical training has not been systematically evaluated on medical tasks. This study investigates the effect of biomedical training in the context of six practical medical tasks evaluating $25$ models. In contrast to previous evaluations, our results reveal a performance decline in nine out of twelve biomedical models after fine-tuning, particularly on tasks involving hallucinations, ICD10 coding, and instruction adherence. General-domain models like Meta-Llama-3.1-70B-Instruct outperformed their biomedical counterparts, indicating a trade-off between domain-specific fine-tuning and general medical task performance. We open-source all evaluation scripts and datasets at https://github.com/TIO-IKIM/CLUE to support further research in this critical area.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、患者のケア、診断、管理プロセスに大きく貢献することが期待されている。 新たなバイオメディカルLLMは、プライバシ要求や計算上の制約を含む、医療特有の課題に対処することを目指している。 このセンシティブなアプリケーション領域に対するモデルの適合性を評価することが、最も重要である。 しかし, 医療現場でのバイオメディカルトレーニングは, 体系的に評価されていない。 本研究では, バイオメディカルトレーニングが6つの実践的医療課題の文脈に及ぼす影響について検討した。 これまでの評価とは対照的に, 微調整後のバイオメディカルモデル12例中9例, 特に幻覚, ICD10コーディング, 命令順守などの課題において, 成績は低下した。 Meta-Llama-3.1-70B-Instructのような一般ドメインモデルはバイオメディカルモデルよりも優れており、ドメイン固有の微調整と一般的な医療タスクのパフォーマンスのトレードオフを示している。 我々は、この重要な領域におけるさらなる研究を支援するため、すべての評価スクリプトとデータセットをhttps://github.com/TIO-IKIM/CLUEでオープンソース化しました。

関連論文リスト

• Biomedical Large Languages Models Seem not to be Superior to Generalist Models on Unseen Medical Data [3.469567586411153]
  大規模言語モデル (LLM) は、生物医学的応用の可能性を示しており、それらをドメイン固有のデータに微調整する努力に繋がった。 本研究は, バイオメディカル微調整LDMの多種多様な臨床課題における汎用性に対する性能評価を行った。
  論文  参考訳（メタデータ） (2024-08-25T13:36:22Z)
• STLLaVA-Med: Self-Training Large Language and Vision Assistant for Medical Question-Answering [58.79671189792399]
  STLLaVA-Medは、医療ビジュアルインストラクションデータを自動生成できるポリシーモデルを訓練するために設計されている。 STLLaVA-Medの有効性とデータ効率を3つの主要な医用視覚質問応答(VQA)ベンチマークで検証した。
  論文  参考訳（メタデータ） (2024-06-28T15:01:23Z)
• BMRetriever: Tuning Large Language Models as Better Biomedical Text Retrievers [48.21255861863282]
  BMRetrieverは、バイオメディカル検索を強化するための一連の密集したレトリバーである。 BMRetrieverは強力なパラメータ効率を示し、410Mの派生型はベースラインを最大11.7倍まで上回っている。
  論文  参考訳（メタデータ） (2024-04-29T05:40:08Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• A Comprehensive Survey on Evaluating Large Language Model Applications in the Medical Industry [2.1717945745027425]
  大規模言語モデル(LLM)は、言語理解と生成の高度な能力で様々な産業に影響を与えている。 この包括的調査は、医療におけるLSMの広範な適用と必要な評価を概説する。 本調査は,臨床環境,医療用テキストデータ処理,研究,教育,公衆衛生への意識といった分野におけるLCM応用の詳細な分析を行うために構成されている。
  論文  参考訳（メタデータ） (2024-04-24T09:55:24Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Towards Generalist Biomedical AI [28.68106423175678]
  我々は,汎用バイオメディカルAIシステムの概念実証であるMed-PaLM Multimodal(Med-PaLM M)を紹介する。 Med-PaLM Mは、バイオメディカルデータを柔軟にエンコードし解釈する大規模なマルチモーダル生成モデルである。 モデル生成(およびヒト)胸部X線検査の放射線学的評価を行い, モデルスケールでの性能向上を観察した。
  論文  参考訳（メタデータ） (2023-07-26T17:52:22Z)
• BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)
• Large Language Models for Biomedical Knowledge Graph Construction: Information extraction from EMR notes [0.0]
  大規模言語モデル(LLM)に基づくエンドツーエンド機械学習ソリューションを提案する。 KG構築プロセスで使用される物質は、疾患、因子、治療、および疾患を経験中に患者と共存する症状である。 提案手法の応用は加齢に伴う黄斑変性に対して実証される。
  論文  参考訳（メタデータ） (2023-01-29T15:52:33Z)
• CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
  中国初のバイオメディカル言語理解評価ベンチマークを提示する。 名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。 本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-15T12:25:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。