論文の概要: SparseDoctor: Towards Efficient Chat Doctor with Mixture of Experts Enhanced Large Language Models

• arxiv url: http://arxiv.org/abs/2509.14269v2
• Date: Mon, 22 Sep 2025 03:08:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 14:36:45.640822
• Title: SparseDoctor: Towards Efficient Chat Doctor with Mixture of Experts Enhanced Large Language Models
• Title（参考訳）: SparseDoctor: 大規模言語モデルの拡張したエキスパートの混在による効率的なチャットドクターを目指して
• Authors: Jianbin Zhang, Yulin Zhu, Wai Lun Lo, Richard Tai-Chiu Hsung, Harris Sik-Ho Tsang, Kai Zhou,
• Abstract要約: 大規模言語モデル(LLM)は、医学的質問応答と臨床的意思決定において大きな成功を収めた。 LLMの従来の微調整戦略は数十億のパラメータの更新を必要とし、トレーニングコストを大幅に増加させる。 我々は,LRA-MoEアーキテクチャを改良したSparseDoctorという,スパークス医療用LLMを製作した。
• 参考スコア（独自算出の注目度）: 10.761477571508253
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have achieved great success in medical question answering and clinical decision-making, promoting the efficiency and popularization of the personalized virtual doctor in society. However, the traditional fine-tuning strategies on LLM require the updates of billions of parameters, substantially increasing the training cost, including the training time and utility cost. To enhance the efficiency and effectiveness of the current medical LLMs and explore the boundary of the representation capability of the LLMs on the medical domain, apart from the traditional fine-tuning strategies from the data perspective (i.e., supervised fine-tuning or reinforcement learning from human feedback), we instead craft a novel sparse medical LLM named SparseDoctor armed with contrastive learning enhanced LoRA-MoE (low rank adaptation-mixture of experts) architecture. To this end, the crafted automatic routing mechanism can scientifically allocate the computational resources among different LoRA experts supervised by the contrastive learning. Additionally, we also introduce a novel expert memory queue mechanism to further boost the efficiency of the overall framework and prevent the memory overflow during training. We conduct comprehensive evaluations on three typical medical benchmarks: CMB, CMExam, and CMMLU-Med. Experimental results demonstrate that the proposed LLM can consistently outperform the strong baselines such as the HuatuoGPT series.
• Abstract（参考訳）: 大規模言語モデル (LLM) は, 社会におけるパーソナライズされた仮想医師の効率と普及を促進するとともに, 医療質問応答や臨床意思決定において大きな成功を収めている。 しかし、従来のLLMの微調整戦略は数十億のパラメータの更新を必要とし、トレーニング時間やユーティリティコストを含むトレーニングコストを大幅に増加させる。 医用LLMの効率性と有効性を高め,データの観点からの従来の微調整戦略(人的フィードバックからの微調整や強化学習の監督など)とは別に,医用領域におけるLSMの表現能力の境界を探るため,対照的な学習能力を持つSparseDoctorという新しいスパースドクターを開発した。 この目的のために、構築された自動ルーティング機構は、対照的な学習によって監督されるさまざまなLoRA専門家の間で科学的に計算資源を割り当てることができる。 さらに,新たなメモリキュー機構を導入して,フレームワーク全体の効率をさらに向上し,トレーニング中のメモリオーバーフローを防止する。 CMB,CMExam,CMMLU-Medの3つの典型的な医療ベンチマークについて総合的な評価を行った。 実験の結果,提案したLLMはHuatuoGPTシリーズのような強いベースラインを一貫して上回ることを示した。

関連論文リスト

• MAM: Modular Multi-Agent Framework for Multi-Modal Medical Diagnosis via Role-Specialized Collaboration [57.98393950821579]
  マルチモーダル医療診断のためのモジュール型マルチエージェントフレームワーク(MAM)について紹介する。 我々の経験的発見に触発されて、MAMは医療診断プロセスを、一般実践者、スペシャリストチーム、放射線科医、医療助手、ディレクターの専門的な役割に分解する。 このモジュール的で協調的なフレームワークは、効率的な知識更新を可能にし、既存の医療用LLMと知識ベースを活用する。
  論文  参考訳（メタデータ） (2025-06-24T17:52:43Z)
• MMedAgent-RL: Optimizing Multi-Agent Collaboration for Multimodal Medical Reasoning [63.63542462400175]
  医療エージェント間の動的に最適化された協調を可能にする強化学習に基づくマルチエージェントフレームワークMMedAgent-RLを提案する。 具体的には、Qwen2.5-VLに基づく2つのGPエージェントをRLを介して訓練する: トリアージ医師は患者を適切な専門分野に割り当てることを学ぶ一方、主治医はマルチスペシャリストの判断を統合する。 5つのVQAベンチマークの実験では、MMedAgent-RLはオープンソースおよびプロプライエタリなMed-LVLMよりも優れており、人間のような推論パターンも示している。
  論文  参考訳（メタデータ） (2025-05-31T13:22:55Z)
• Med-R$^2$: Crafting Trustworthy LLM Physicians via Retrieval and Reasoning of Evidence-Based Medicine [40.651632523697536]
  大言語モデル(LLM)は臨床シナリオにおいて顕著な機能を示した。 我々はEvidence-Based Medicine(EBM)プロセスに準拠した新しいフレームワークであるMed-R2を紹介する。 実験の結果, Med-R2はバニラRAG法よりも14.74%改善し, 微調整法に比べて3.32%向上した。
  論文  参考訳（メタデータ） (2025-01-21T04:40:43Z)
• SeRTS: Self-Rewarding Tree Search for Biomedical Retrieval-Augmented Generation [50.26966969163348]
  大規模言語モデル(LLM)は,検索増強世代(RAG)の進展に伴い,生物医学領域において大きな可能性を示した。 既存の検索強化アプローチは、様々なクエリやドキュメント、特に医療知識クエリに対処する上で、課題に直面している。 モンテカルロ木探索(MCTS)と自己回帰パラダイムに基づく自己回帰木探索(SeRTS)を提案する。
  論文  参考訳（メタデータ） (2024-06-17T06:48:31Z)
• XAI4LLM. Let Machine Learning Models and LLMs Collaborate for Enhanced In-Context Learning in Healthcare [16.79952669254101]
  本稿では,大規模言語モデルによる構造化された臨床データ処理を実現するための知識誘導型インコンテキスト学習フレームワークを提案する。 このアプローチでは、ドメイン固有の機能グループ化、慎重にバランスのとれた数ショットの例、タスク固有のプロンプト戦略を統合する。
  論文  参考訳（メタデータ） (2024-05-10T06:52:44Z)
• End-to-End Breast Cancer Radiotherapy Planning via LMMs with Consistency Embedding [47.360760580820966]
  放射線腫瘍学の分野に適した包括的大規模マルチモーダルモデル(LMM)であるRO-LMMを提案する。 このモデルは臨床ワークフロー内の一連のタスクを効果的に管理し、臨床コンテキストの要約、放射線治療計画の提案、計画誘導されたターゲットボリュームセグメンテーションを含む。 クリーン入力処理の整合性を維持しつつ,LMMのノイズ入力に対する堅牢性を向上する,CEFTune(Consistency Embedding Fine-Tuning)技術を提案する。
  論文  参考訳（メタデータ） (2023-11-27T14:49:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。