論文の概要: A Novel Hierarchical Integration Method for Efficient Model Merging in Medical LLMs

• arxiv url: http://arxiv.org/abs/2511.13373v1
• Date: Mon, 17 Nov 2025 13:47:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:25.238335
• Title: A Novel Hierarchical Integration Method for Efficient Model Merging in Medical LLMs
• Title（参考訳）: 医療用LLMにおける効率的なモデルマージのための新しい階層的統合法
• Authors: Prakrit Timilsina, Anuj Nepal, Rajan Kadel, Robin Doss,
• Abstract要約: 大規模言語モデル(LLM)は、分散医療において重大な課題に直面します。 本稿では,2つのアーキテクチャに適合する医療用LLMに適用した6つのパラメータ空間マージ手法の体系的評価について述べる。
• 参考スコア（独自算出の注目度）: 1.6822710357817308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) face significant challenges in distributed healthcare, including consolidating specialized domain knowledge across institutions while maintaining privacy, reducing computational overhead, and preventing catastrophic forgetting during model updates.This paper presents a systematic evaluation of six parameter-space merging techniques applied to two architecturally compatible medical LLMs derived from the Mistral-7B base model. We introduce a novel hierarchical method that combines selective Optimal Transport (OT) alignment for attention layers with cosine similarity-weighted interpolation, designed to address permutation variance while minimizing computational overhead for edge deployment scenarios. Our study evaluates Task Arithmetic, Linear Averaging, DARE-TIES, DELLA, Breadcrumbs, and our Hierarchical approach across five medical benchmarks. Results demonstrate that architecturally compatible models benefit significantly from simple averaging methods, with Task Arithmetic achieving 45.80% accuracy on MedQA, outperforming complex pruning-based approaches. These findings offer critical insights for the deployment of distributed medical AI in resource-constrained IoT environments, where computational efficiency and model compatibility are paramount. Our work establishes that for architecturally compatible models, simple averaging provides a robust and computationally efficient baseline for knowledge consolidation, offering a pragmatic path forward for scalable medical AI systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)は,プライバシを維持しつつ,機関間の専門知識の統合,計算オーバーヘッドの低減,モデル更新時の破滅的な忘れ込みの防止など,分散医療において重大な課題に直面している。この記事では,Mistral-7Bベースモデルから派生した2つのアーキテクチャ互換医療LLMに適用した6つのパラメータ空間マージ手法の体系的評価を行う。 本稿では,注目層に対する最適輸送(OT)アライメントとコサイン類似度重み付き補間を組み合わせた新しい階層的手法を提案する。 本研究は,5つの医療ベンチマークにおいて,タスク算術,線形平均化,DARE-TIES,DELLA,Breadcrumbs,階層的アプローチを評価した。 その結果,MedQAにおけるタスク算術的な精度は45.80%であり,複雑なプルーニングに基づくアプローチよりも優れていた。 これらの発見は、計算効率とモデル互換性が最重要であるリソース制約のIoT環境における、分散医療AIの展開に関する重要な洞察を提供する。 私たちの研究は、アーキテクチャ的に互換性のあるモデルにおいて、シンプルな平均化は知識統合のための堅牢で計算的に効率的なベースラインを提供し、スケーラブルな医療AIシステムのための実践的なパスを提供する、と証明しています。

関連論文リスト

• Enhancing Domain-Specific Encoder Models with LLM-Generated Data: How to Leverage Ontologies, and How to Do Without Them [9.952432291248954]
  限られたデータを持つ領域におけるエンコーダモデルの連続事前学習におけるLLM生成データの利用について検討する。 侵入生物学における埋め込みモデルの性能を評価するためのベンチマークをコンパイルする。 提案手法は,小さなエンコーダモデルのドメイン固有理解を向上させるために,完全自動パイプラインを実現することを実証した。
  論文  参考訳（メタデータ） (2025-03-27T21:51:24Z)
• Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
  人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。 制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。 本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:34:25Z)
• Rethinking model prototyping through the MedMNIST+ dataset collection [0.11999555634662634]
  この作業では、MedMNIST+データセットコレクションの包括的なベンチマークを導入する。 我々は、一般的なCNN(Convolutional Neural Networks)とViT(Vision Transformer)アーキテクチャを、異なる医療データセットにわたって再評価する。 この結果から,計算効率のよいトレーニングスキームと最新の基礎モデルが,エンドツーエンドのトレーニングに有効な代替手段を提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-04-24T10:19:25Z)
• Deep learning enhanced mixed integer optimization: Learning to reduce model dimensionality [0.0]
  この研究は、Mixed-Integer Programmingに固有の計算複雑性に対処するフレームワークを導入する。 ディープラーニングを利用することで、MIPインスタンス間の共通構造を特定し、活用する問題固有モデルを構築する。 本稿では,モデルの堅牢性と一般化性を高める合成データを生成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-17T19:15:13Z)
• Energy-Guided Continuous Entropic Barycenter Estimation for General Costs [95.33926437521046]
  任意のOTコスト関数に対して連続的エントロピーOT(EOT)バリセンタを近似する新しいアルゴリズムを提案する。 本手法は、弱いOTに基づくEOT問題の二重再構成に基づいている。
  論文  参考訳（メタデータ） (2023-10-02T11:24:36Z)
• Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration [87.53543137162488]
  我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。 textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。 様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:25:26Z)
• Exploiting Temporal Structures of Cyclostationary Signals for Data-Driven Single-Channel Source Separation [98.95383921866096]
  単一チャネルソース分離(SCSS)の問題点について検討する。 我々は、様々なアプリケーション領域に特に適するサイクロ定常信号に焦点を当てる。 本稿では,最小MSE推定器と競合するU-Netアーキテクチャを用いたディープラーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-08-22T14:04:56Z)
• Pretrained Cost Model for Distributed Constraint Optimization Problems [37.79733538931925]
  分散制約最適化問題(DCOP)は、最適化問題の重要なサブクラスである。 本稿では,DCOPのための新しい非巡回グラフスキーマ表現を提案し,グラフ表現を組み込むためにグラフ注意ネットワーク(GAT)を利用する。 我々のモデルであるGAT-PCMは、幅広いDCOPアルゴリズムを向上するために、オフラインで最適なラベル付きデータで事前訓練される。
  論文  参考訳（メタデータ） (2021-12-08T09:24:10Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。