論文の概要: Towards Specialized Generalists: A Multi-Task MoE-LoRA Framework for Domain-Specific LLM Adaptation

• arxiv url: http://arxiv.org/abs/2601.07935v1
• Date: Mon, 12 Jan 2026 19:04:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:18.909268
• Title: Towards Specialized Generalists: A Multi-Task MoE-LoRA Framework for Domain-Specific LLM Adaptation
• Title（参考訳）: 特殊化ジェネラリストに向けて:ドメイン特化LDM適応のためのマルチタスクMoE-LoRAフレームワーク
• Authors: Yuxin Yang, Aoxiong Zeng, Xiangquan Yang,
• Abstract要約: 我々は,Med-MoE-LoRAを提案する。Med-MoE-LoRAは,Med-of-Experts(MoE)とLoRA(LoRA)を統合し,効率的なマルチタスクドメイン適応を実現する。 Med-MoE-LoRAは、適応的なルーティングとランクワイドデカップリングによるソフトマージを利用して、医療ベンチマークにおいて優れたパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 1.9054869116450563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid evolution of Large Language Models (LLMs) has shifted focus from general-purpose capabilities to domain-specific expertise. However, adapting LLMs to specialized fields such as medicine presents two challenge: (1) the "Stability-Plasticity Dilemma", where the model must acquire complex clinical knowledge without suffering from catastrophic forgetting of general world knowledge; and (2) "Task Interference", where disparate sub-tasks, such as medical diagnosis, report summarization, and drug-drug interaction prediction, compete for limited low-rank parameter space. In this paper, we propose Med-MoE-LoRA, a novel framework that integrates Mixture-of-Experts (MoE) with Low-Rank Adaptation (LoRA) to enable efficient multi-task domain adaptation, especially for medical scenarios. Drawing inspiration from recent advances, our framework employs an asymmetric expert distribution where deeper layers are equipped with a higher density of LoRA experts to capture complex semantic abstractions. We further introduce a "Knowledge-Preservation Plugin", inspired by LoRA MoE, to isolate and protect general-purpose reasoning. By utilizing soft merging with adaptive routing and rank-wise decoupling, Med-MoE-LoRA achieves superior performance in medical benchmarks while reducing interference. Experimental results demonstrate that our approach consistently outperforms standard LoRA and conventional MoE architectures across multiple clinical NLP tasks while retaining the model's general cognitive capabilities.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進化は、汎用機能からドメイン固有の専門知識へと焦点を移している。 しかし, LLMを医学などの専門分野に適応させることは, 1) 一般世界知識の破滅的な忘れ込みに苦しむことなく複雑な臨床知識を得る「安定・弾塑性ジレンマ」,(2) 医療診断, 報告要約, 薬物と薬物の相互作用予測などの異なるサブタスクが, 限られた低ランクパラメータ空間を競う「タスク干渉」の2つの課題が提示される。 本稿では,Med-MoE-LoRAを提案する。Med-MoE-LoRAは,Med-of-Experts(MoE)とLoRA(LoRA)を統合し,効率的なマルチタスクドメイン適応を実現する新しいフレームワークである。 近年の進歩から着想を得た私たちのフレームワークでは、複雑なセマンティック抽象化を捉えるために、より深い層に高密度のLoRA専門家を配置する非対称な専門家分布を採用しています。 また, LoRA MoE にインスパイアされた "Knowledge-Preservation Plugin" を導入し,汎用推論の分離と保護を行う。 Med-MoE-LoRAは、適応ルーティングとランクワイドデカップリングによるソフトマージを利用して、干渉を低減しつつ、医療ベンチマークにおいて優れたパフォーマンスを実現する。 実験の結果,モデルの認知能力を維持しつつ,複数のNLPタスクにまたがる標準のLoRAおよび従来型のMoEアーキテクチャを一貫して上回る結果が得られた。

関連論文リスト

• Forging a Dynamic Memory: Retrieval-Guided Continual Learning for Generalist Medical Foundation Models [45.285970665585914]
  本稿では,継続的学習のための包括的枠組みを提案する。 モデル微調整のためのリアルタイムガイダンスを提供するマルチモーダル多層RAGシステムを用いる。 動的知識蒸留フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-12-15T08:09:40Z)
• MedAlign: A Synergistic Framework of Multimodal Preference Optimization and Federated Meta-Cognitive Reasoning [52.064286116035134]
  我々はMed-VQA(Med-VQA)のための視覚的LVLM応答を保証するフレームワークであるMedAlignを開発した。 まず、優先学習を視覚的コンテキストに合わせるために、マルチモーダルな直接選好最適化(mDPO)の目的を提案する。 次に、画像とテキストの類似性を生かし、クエリを専門的でコンテキスト拡張されたLVLMにルーティングする検索型混合処理(RA-MoE)アーキテクチャを設計する。
  論文  参考訳（メタデータ） (2025-10-24T02:11:05Z)
• SparseDoctor: Towards Efficient Chat Doctor with Mixture of Experts Enhanced Large Language Models [10.761477571508253]
  大規模言語モデル(LLM)は、医学的質問応答と臨床的意思決定において大きな成功を収めた。 LLMの従来の微調整戦略は数十億のパラメータの更新を必要とし、トレーニングコストを大幅に増加させる。 我々は,LRA-MoEアーキテクチャを改良したSparseDoctorという,スパークス医療用LLMを製作した。
  論文  参考訳（メタデータ） (2025-09-15T11:25:14Z)
• NEARL-CLIP: Interacted Query Adaptation with Orthogonal Regularization for Medical Vision-Language Understanding [51.63264715941068]
  textbfNEARL-CLIP (iunderlineNteracted quunderlineEry underlineAdaptation with ounderlineRthogonaunderlineL regularization)は、VLMベースの新しい相互モダリティ相互作用フレームワークである。
  論文  参考訳（メタデータ） (2025-08-06T05:44:01Z)
• LoRASculpt: Sculpting LoRA for Harmonizing General and Specialized Knowledge in Multimodal Large Language Models [61.96237184081951]
  Low-Rank Adaptation (LoRA)はマルチモーダル大規模言語モデル(MLLM)における専門知識の獲得に広く利用されている。 LoRAは、視覚的インストラクションチューニング中にかなり有害な冗長性を導入し、一般的な知識の忘れを悪化させ、下流のタスク性能を低下させる。 有害な冗長パラメータを排除し,一般知識と専門知識の調和を図るため,LoRASculptを提案する。
  論文  参考訳（メタデータ） (2025-03-21T04:31:09Z)
• End-to-End Breast Cancer Radiotherapy Planning via LMMs with Consistency Embedding [47.360760580820966]
  放射線腫瘍学の分野に適した包括的大規模マルチモーダルモデル(LMM)であるRO-LMMを提案する。 このモデルは臨床ワークフロー内の一連のタスクを効果的に管理し、臨床コンテキストの要約、放射線治療計画の提案、計画誘導されたターゲットボリュームセグメンテーションを含む。 クリーン入力処理の整合性を維持しつつ,LMMのノイズ入力に対する堅牢性を向上する,CEFTune(Consistency Embedding Fine-Tuning)技術を提案する。
  論文  参考訳（メタデータ） (2023-11-27T14:49:06Z)
• When MOE Meets LLMs: Parameter Efficient Fine-tuning for Multi-task Medical Applications [57.342772288710044]
  我々はMOELoRAと呼ばれるマルチタスク医療応用のためのパラメータ効率の良い微調整フレームワークを提案する。 MOEとLoRAを統一するために、トレーニング可能なパラメータとして複数の専門家を考案し、トレーニング可能なパラメータの小さなサイズを保持するために、各専門家は2つの低ランク行列から構成される。 マルチタスク医療データセットを用いて実験を行い、MOELoRAが既存のパラメータを効率よく微調整する手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-21T17:18:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。