論文の概要: MedCare: Advancing Medical LLMs through Decoupling Clinical Alignment and Knowledge Aggregation

• arxiv url: http://arxiv.org/abs/2406.17484v3
• Date: Thu, 17 Oct 2024 06:04:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:16:31.642681
• Title: MedCare: Advancing Medical LLMs through Decoupling Clinical Alignment and Knowledge Aggregation
• Title（参考訳）: MedCare:クリニカルアライメントとナレッジアグリゲーションの分離による医療用LLMの改善
• Authors: Yusheng Liao, Shuyang Jiang, Zhe Chen, Yanfeng Wang, Yu Wang,
• Abstract要約: 大規模言語モデル(LLM)は、特に医学分野で価値のある自然言語理解と生成の進歩を示す。 従来のアプローチでは後者のタスクを無視するか、少数のタスクに集中していたため、一般化が失われる。 このパイプラインは、ナレッジアグリゲータとノイズアグリゲータを使用して、最初の段階で多様な知識を符号化し、有害情報をフィルタリングする。 MedCare (1.8B, 7B, 14B) の様々なモデルサイズは、いずれも類似のモデルサイズを持つ既存のモデルよりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 23.61333944851113
• License:
• Abstract: Large language models (LLMs) have shown substantial progress in natural language understanding and generation, proving valuable especially in the medical field. Despite advancements, challenges persist due to the complexity and diversity inherent in medical tasks, which can be categorized as knowledge-intensive tasks and alignment-required tasks. Previous approaches either ignore the latter task or focus on a minority of tasks and hence lose generalization. To address these drawbacks, we propose a progressive fine-tuning pipeline. This pipeline employs a Knowledge Aggregator and a Noise aggregator to encode diverse knowledge in the first stage and filter out detrimental information. In the second stage, we drop the Noise Aggregator to avoid the interference of suboptimal representation and leverage an additional alignment module optimized towards an orthogonal direction to the knowledge space to mitigate knowledge forgetting. Based on this two-stage paradigm, we proposed a Medical LLM through decoupling Clinical Alignment and Knowledge Aggregation (MedCare), which is designed to achieve state-of-the-art (SOTA) performance on over 20 medical tasks, as well as SOTA results on specific medical alignment tasks. Various model sizes of MedCare (1.8B, 7B, 14B) all demonstrate significant improvements over existing models with similar model sizes.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特に医学分野で価値のある自然言語理解と生成の進歩を示す。 進歩にもかかわらず、医学的なタスクに固有の複雑さと多様性のために課題は継続され、知識集約的なタスクとアライメント要求タスクに分類される。 従来のアプローチでは後者のタスクを無視するか、少数のタスクに集中していたため、一般化が失われる。 これらの欠点に対処するため、我々はプログレッシブな微調整パイプラインを提案する。 このパイプラインは、ナレッジアグリゲータとノイズアグリゲータを使用して、最初の段階で多様な知識を符号化し、有害情報をフィルタリングする。 第2段階では、雑音アグリゲータを落として、最適下界表現の干渉を避けるとともに、知識空間への直交方向に最適化されたアライメントモジュールを活用して、知識の忘れを軽減します。 この2段階のパラダイムに基づいて、20以上の医療課題における最先端(SOTA)のパフォーマンスと、特定の医療アライメントタスクにおけるSOTA結果の達成を目的とした、臨床アライメントと知識アグリゲーション(MedCare)の分離による医療LLMを提案する。 MedCare (1.8B, 7B, 14B) の様々なモデルサイズは、いずれも類似のモデルサイズを持つ既存のモデルよりも大幅に改善されている。

関連論文リスト

• Demystifying Large Language Models for Medicine: A Primer [50.83806796466396]
  大規模言語モデル(LLM)は、医療のさまざまな側面に革命をもたらすことのできる、変革的なAIツールのクラスである。 本チュートリアルは、LSMを臨床実践に効果的に統合するために必要なツールを医療専門家に提供することを目的としている。
  論文  参考訳（メタデータ） (2024-10-24T15:41:56Z)
• Mitigating Hallucinations of Large Language Models in Medical Information Extraction via Contrastive Decoding [92.32881381717594]
  医療情報抽出タスクにおける幻覚の問題を解決するために,ALCD(ALternate Contrastive Decoding)を導入する。 ALCDは, 従来の復号法に比べて幻覚の解消に有意な改善が見られた。
  論文  参考訳（メタデータ） (2024-10-21T07:19:19Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• Customizing General-Purpose Foundation Models for Medical Report Generation [64.31265734687182]
  ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。 本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:02:36Z)
• shs-nlp at RadSum23: Domain-Adaptive Pre-training of Instruction-tuned LLMs for Radiology Report Impression Generation [1.295708369426949]
  そこで本研究では,大規模医療用テキストデータを活用して,命令調整 LLM のドメイン適応型事前学習を行うシステムを提案する。 本システムは,IMpressionIONS生成タスクにおいて,多くの事前訓練・ファインチューン適応手法よりもゼロショット設定で優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-06-05T21:33:04Z)
• PULSAR: Pre-training with Extracted Healthcare Terms for Summarising Patients' Problems and Data Augmentation with Black-box Large Language Models [25.363775123262307]
  問題リストの形で患者の問題を自動的に要約することで、ステークホルダーが患者の状態を理解し、作業負荷と認知バイアスを減らすのに役立つ。 BioNLP 2023 共有タスク1Aは、入院中の提供者の進捗状況から診断と問題のリストを作成することに焦点を当てている。 1つのコンポーネントは、データ拡張のために大きな言語モデル(LLM)を使用し、もう1つは、リストとして要約された患者の問題を生成するための、新しいトレーニング済みの目標を持つ抽象的な要約 LLM である。 私たちのアプローチは、共有タスクへの全提出のうち、第2位でした。
  論文  参考訳（メタデータ） (2023-06-05T10:17:50Z)
• Towards Medical Artificial General Intelligence via Knowledge-Enhanced Multimodal Pretraining [121.89793208683625]
  医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。 我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-26T01:26:19Z)
• MIMO: Mutual Integration of Patient Journey and Medical Ontology for Healthcare Representation Learning [49.57261599776167]
  本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
  論文  参考訳（メタデータ） (2021-07-20T07:04:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。