論文の概要: Generalization of Medical Large Language Models through Cross-Domain Weak Supervision

• arxiv url: http://arxiv.org/abs/2502.00832v1
• Date: Sun, 02 Feb 2025 16:05:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:00:27.997173
• Title: Generalization of Medical Large Language Models through Cross-Domain Weak Supervision
• Title（参考訳）: クロスドメイン弱スーパービジョンによる医療用大言語モデルの一般化
• Authors: Robert Long, Eric Gonzalez, Harrison Fuller,
• Abstract要約: 医療用大規模言語モデル(MLLM)の生成能力を高めるためのICFTフレームワークを提案する。 ICFTはカリキュラムベースの学習、二段階記憶調整、パラメータ効率の微調整を組み合わせて、一般的な言語知識から強力なドメイン固有の専門知識への移行を可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The advancement of large language models (LLMs) has opened new frontiers in natural language processing, particularly in specialized domains like healthcare. In this paper, we propose the Incremental Curriculum-Based Fine-Tuning (ICFT) framework to enhance the generative capabilities of medical large language models (MLLMs). ICFT combines curriculum-based learning, dual-stage memory coordination, and parameter-efficient fine-tuning to enable a progressive transition from general linguistic knowledge to strong domain-specific expertise. Experimental results across diverse medical NLP tasks, including question answering, preference classification, and response generation, demonstrate that ICFT consistently outperforms state-of-the-art baselines, achieving improvements in both accuracy and efficiency. Further analysis reveals the framework's ability to generalize to unseen data, reduce errors, and deliver diverse, contextually relevant medical responses. These findings establish ICFT as a robust and scalable solution for adapting LLMs to the medical domain, offering practical benefits for real-world healthcare applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)の進歩は、特に医療のような専門分野において、自然言語処理における新たなフロンティアを開拓した。 本稿では,医療用大規模言語モデル(MLLM)の生成能力を高めるために,ICFT(Incrmental Curriculum-Based Fine-Tuning)フレームワークを提案する。 ICFTはカリキュラムベースの学習、二段階記憶調整、パラメータ効率の微調整を組み合わせて、一般的な言語知識から強力なドメイン固有の専門知識への移行を可能にする。 質問応答,選好分類,応答生成など多種多様なNLPタスクに対する実験結果から,ICFTは最先端のベースラインを一貫して上回り,精度と効率の両面で向上していることが示された。 さらなる分析により、フレームワークは、目に見えないデータに一般化し、エラーを減らし、多様な、文脈に関連のある医療応答を提供する能力を明らかにしている。 これらの知見は、ICFTを医療領域にLSMを適用するための堅牢でスケーラブルなソリューションとして確立し、現実の医療アプリケーションに実用的な利点を提供する。

関連論文リスト

• Bridging Language Barriers in Healthcare: A Study on Arabic LLMs [1.2006896500048552]
  本稿では,多言語理解と医学知識の両方に熟練した大規模言語モデルを開発する上での課題について考察する。 言語比率を慎重に調整した大規模モデルは、母国語の臨床課題において優れた性能を発揮することが判明した。
  論文  参考訳（メタデータ） (2025-01-16T20:24:56Z)
• LLMs-in-the-loop Part-1: Expert Small AI Models for Bio-Medical Text Translation [0.0]
  本研究では,医療用テキストに最適化された教師ありニューラルマシン翻訳モデルを開発するために,新しい"LLMs-in-the-loop"アプローチを提案する。 6つの言語での独自の平行コーパスは、科学論文、人工的に生成された臨床文書、医療文書から編纂された。 MarianMTベースのモデルは、Google Translate、DeepL、GPT-4-Turboより優れている。
  論文  参考訳（メタデータ） (2024-07-16T19:32:23Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• Natural Language Programming in Medicine: Administering Evidence Based Clinical Workflows with Autonomous Agents Powered by Generative Large Language Models [29.05425041393475]
  ジェネレーティブ・大型言語モデル(LLM)は医療において大きな可能性を秘めている。 本研究は, シミュレーション3次医療センターにおいて, 自律型エージェントとして機能するLSMの可能性を評価した。
  論文  参考訳（メタデータ） (2024-01-05T15:09:57Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• Large Language Models Illuminate a Progressive Pathway to Artificial Healthcare Assistant: A Review [16.008511195589925]
  大規模言語モデル(LLM)は、人間のレベルの言語理解と推論を模倣する有望な能力を示している。 本稿では,医学におけるLSMの応用と意義について概説する。
  論文  参考訳（メタデータ） (2023-11-03T13:51:36Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
  大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。 LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。 PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
  論文  参考訳（メタデータ） (2023-04-27T18:29:05Z)
• Learning Domain-Specialised Representations for Cross-Lingual Biomedical Entity Linking [66.76141128555099]
  言語横断型バイオメディカルエンティティリンクタスク(XL-BEL)を提案する。 まず、標準単言語英語BELタスクを超えて、標準単言語および多言語LMと同様に、標準的な知識に依存しない能力について検討する。 次に、リソースに富んだ言語からリソースに乏しい言語にドメイン固有の知識を移すことの課題に対処する。
  論文  参考訳（メタデータ） (2021-05-30T00:50:00Z)
• Automated Coding of Under-Studied Medical Concept Domains: Linking Physical Activity Reports to the International Classification of Functioning, Disability, and Health [22.196642357767338]
  医療概念の多くの領域は、医学テキストの効果的なコーディングを支援するための、十分に発達した用語を欠いている。 本稿では,未研究の医療情報の自動符号化のための自然言語処理(NLP)技術を開発するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-27T20:02:59Z)
• UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual Embeddings Using the Unified Medical Language System Metathesaurus [73.86656026386038]
  事前学習プロセス中にドメイン知識を統合するコンテキスト埋め込みモデルであるUmlsBERTを紹介する。 これらの2つの戦略を適用することで、UmlsBERTは、臨床領域の知識を単語埋め込みにエンコードし、既存のドメイン固有モデルより優れている。
  論文  参考訳（メタデータ） (2020-10-20T15:56:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。