論文の概要: From Beginner to Expert: Modeling Medical Knowledge into General LLMs

• arxiv url: http://arxiv.org/abs/2312.01040v1
• Date: Sat, 2 Dec 2023 05:54:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-12-05 19:42:53.204366
• Title: From Beginner to Expert: Modeling Medical Knowledge into General LLMs
• Title（参考訳）: 初心者から専門家へ:医学知識のモデリングから一般LLMへ
• Abstract要約: 大規模言語モデル(LLM)に基づく人工知能(AI)システムは、自然言語の理解と生成において顕著な能力を示した。 これらのモデルは、医学的な知識を推論したり、医師のような方法で医学的な疑問に答えたりするといった、繊細な応用に関して重要な課題に直面している。 本研究は、事前訓練された一般LLMモデル(AntGLM-10B)から始まり、医療初心者から医療専門家(AntGLM-Med-10B)に微調整する。
• 参考スコア（独自算出の注目度）: 22.475129648458136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, large language model (LLM) based artificial intelligence (AI) systems have demonstrated remarkable capabilities in natural language understanding and generation. However, these models face a significant challenge when it comes to sensitive applications, such as reasoning over medical knowledge and answering medical questions in a physician-like manner. Prior studies attempted to overcome this challenge by increasing the model size (>100B) to learn more general medical knowledge, while there is still room for improvement in LLMs with smaller-scale model sizes (<100B). In this work, we start from a pre-trained general LLM model (AntGLM-10B) and fine-tune it from a medical beginner towards a medical expert (called AntGLM-Med-10B), which leverages a 3-stage optimization procedure, \textit{i.e.}, general medical knowledge injection, medical domain instruction tuning, and specific medical task adaptation. Our contributions are threefold: (1) We specifically investigate how to adapt a pre-trained general LLM in medical domain, especially for a specific medical task. (2) We collect and construct large-scale medical datasets for each stage of the optimization process. These datasets encompass various data types and tasks, such as question-answering, medical reasoning, multi-choice questions, and medical conversations. (3) Specifically for multi-choice questions in the medical domain, we propose a novel Verification-of-Choice approach for prompting engineering, which significantly enhances the reasoning ability of LLMs. Remarkably, by combining the above approaches, our AntGLM-Med-10B model can outperform the most of LLMs on PubMedQA, including both general and medical LLMs, even when these LLMs have larger model size.
• Abstract（参考訳）: 近年,大規模言語モデル(LLM)に基づく人工知能(AI)システムは,自然言語の理解と生成において顕著な能力を示している。 しかし、これらのモデルは、医学的知識に対する推論や、医師のような方法での医学的質問に答えるなど、センシティブな応用に関して大きな課題に直面している。 先行研究は、より一般的な医学知識を学習するためにモデルサイズ(>100B)を増大させることにより、この課題を克服しようとしたが、小型モデルサイズ((<100B)のLLMの改善の余地はまだ残っている。 本稿では,プリトレーニングされた一般llmモデル (antglm-10b) から医療初心者から3段階の最適化手順である \textit{i.e},一般医療知識注入,医療ドメイン命令チューニング,特定の医療タスク適応を行う医療専門家 (antglm-med-10b) へ細かな調整を行う。 1)医学領域,特に特定の医療業務において,事前訓練された一般LSMをどのように適応させるかを検討する。 2)最適化プロセスの各段階の大規模医療データセットを収集し,構築する。 これらのデータセットは、質問応答、医療推論、マルチチョイス質問、医療会話など、さまざまなデータタイプとタスクを包含する。 (3) 医学領域における多点質問に対して, LLM の推論能力を大幅に向上させる, 工学的促進のための新たな検証手法を提案する。 上記のアプローチを組み合わせることで、我々のAntGLM-Med-10BモデルはPubMedQA上でのLLMよりも優れる。

関連論文リスト

• MAM: Modular Multi-Agent Framework for Multi-Modal Medical Diagnosis via Role-Specialized Collaboration [57.98393950821579]
  マルチモーダル医療診断のためのモジュール型マルチエージェントフレームワーク(MAM)について紹介する。 我々の経験的発見に触発されて、MAMは医療診断プロセスを、一般実践者、スペシャリストチーム、放射線科医、医療助手、ディレクターの専門的な役割に分解する。 このモジュール的で協調的なフレームワークは、効率的な知識更新を可能にし、既存の医療用LLMと知識ベースを活用する。
  論文  参考訳（メタデータ） (2025-06-24T17:52:43Z)
• Lingshu: A Generalist Foundation Model for Unified Multimodal Medical Understanding and Reasoning [57.873833577058]
  医療知識の豊富なマルチモーダルデータセットを構築した。 次に医学専門のMLLMであるLingshuを紹介します。 Lingshuは、医療専門知識の組み込みとタスク解決能力の向上のために、マルチステージトレーニングを行っている。
  論文  参考訳（メタデータ） (2025-06-08T08:47:30Z)
• Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
  大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。 本稿では,構造化医療推論を利用した新しいアプローチを提案する。 我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2025-03-05T05:24:55Z)
• Baichuan-M1: Pushing the Medical Capability of Large Language Models [26.01727057904137]
  医療応用に特化して最適化された大規模言語モデルであるBaichuan-M1を紹介する。 既存のモデルで事前訓練を続ける従来のアプローチとは異なり、Baichuan-M1は医療能力の向上に重点を置いてゼロから訓練されている。 我々のモデルは20兆のトークンで訓練され、一般的な能力と医療の専門知識のバランスをとるための、さまざまな効果的な訓練方法が組み込まれています。
  論文  参考訳（メタデータ） (2025-02-18T09:21:12Z)
• LLM-MedQA: Enhancing Medical Question Answering through Case Studies in Large Language Models [18.6994780408699]
  大規模言語モデル (LLM) は、医学的質問応答において重大な課題に直面している。 マルチエージェント医療質問応答システムに類似の事例生成を取り入れた新しい手法を提案する。 本手法は, モデル固有の医療知識と推論能力を活用し, 追加のトレーニングデータの必要性を解消する。
  論文  参考訳（メタデータ） (2024-12-31T19:55:45Z)
• Demystifying Large Language Models for Medicine: A Primer [50.83806796466396]
  大規模言語モデル(LLM)は、医療のさまざまな側面に革命をもたらすことのできる、変革的なAIツールのクラスである。 本チュートリアルは、LSMを臨床実践に効果的に統合するために必要なツールを医療専門家に提供することを目的としている。
  論文  参考訳（メタデータ） (2024-10-24T15:41:56Z)
• A Survey on Large Language Models from General Purpose to Medical Applications: Datasets, Methodologies, and Evaluations [5.265452667976959]
  本調査は,オープンソース汎用LSMをベースとした医療用LSMのトレーニング方法を体系的にまとめたものである。 a) トレーニングコーパスの取得方法、カスタマイズされた医療トレーニングセットの構築方法、(b) 適切なトレーニングパラダイムの選択方法、(d) 既存の課題と有望な研究方向性をカバーしている。
  論文  参考訳（メタデータ） (2024-06-14T02:42:20Z)
• Large Language Models for Medicine: A Survey [31.720633684205424]
  大規模言語モデル(LLM)は、デジタル経済のデジタルインテリジェンスにおける課題に対処するために開発された。 本稿では,医療用LLMの要件と応用について述べる。
  論文  参考訳（メタデータ） (2024-05-20T02:32:26Z)
• Can LLMs' Tuning Methods Work in Medical Multimodal Domain? [14.659849302397433]
  大言語モデル(LLM)は世界知識の理解に優れ、特定のサブフィールドに適応するには正確な調整が必要である。 LLM(Large Vision-Language Models)とLVLM(Large Vision-Language Models)の両方において,PEFT法が出現し,大きな成功を収めている。 転帰学習効率を高めるため,大規模モデルの微調整法を医療分野に移行することは可能か?
  論文  参考訳（メタデータ） (2024-03-11T03:38:48Z)
• LLM-Assisted Multi-Teacher Continual Learning for Visual Question Answering in Robotic Surgery [57.358568111574314]
  患者のデータのプライバシは、モデル更新時に古いデータの可用性を制限することが多い。 CL研究は外科領域で2つの重要な問題を見落としていた。 本稿では,多モーダル大規模言語モデル (LLM) と適応重み付け手法を用いて,これらの問題に対処することを提案する。
  論文  参考訳（メタデータ） (2024-02-26T15:35:24Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• A Survey of Large Language Models in Medicine: Progress, Application, and Challenge [85.09998659355038]
  大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。 本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
  論文  参考訳（メタデータ） (2023-11-09T02:55:58Z)
• Path to Medical AGI: Unify Domain-specific Medical LLMs with the Lowest Cost [18.4295882376915]
  医療人工知能(英語版) (AGI) は、幅広いタスクや領域において知識を理解し、学習し、適用できるシステムを開発することを目的としている。 大規模言語モデル(LLM)は、AGIに向けた重要なステップである。 ドメイン固有の医療用LLMを低コストで統一するためのパラダイムであるメディカルAGI(MedAGI)を提案する。
  論文  参考訳（メタデータ） (2023-06-19T08:15:14Z)
• Towards Medical Artificial General Intelligence via Knowledge-Enhanced Multimodal Pretraining [121.89793208683625]
  医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。 我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-26T01:26:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。