論文の概要: When Domain Pretraining Interferes with Instruction Alignment: An Empirical Study of Adapter Merging in Medical LLMs

• arxiv url: http://arxiv.org/abs/2601.18350v3
• Date: Tue, 03 Feb 2026 02:46:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 16:18:58.781565
• Title: When Domain Pretraining Interferes with Instruction Alignment: An Empirical Study of Adapter Merging in Medical LLMs
• Title（参考訳）: ドメイン事前訓練が指導適応に影響を及ぼす時--医学LLMにおける適応マージの実証的研究
• Authors: Junyi Zou,
• Abstract要約: 大規模言語モデルは、ドメイン適応と命令アライメントを組み合わせる際に驚くべきアダプタ干渉を示す。 医学LLMのための2段階のLORAパイプラインについて検討し、ドメイン指向事前トレーニング(PT)と教師付き微調整(SFT)を個別に訓練し、後にマージした。
• 参考スコア（独自算出の注目度）: 0.6345523830122167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models can exhibit surprising adapter interference when combining domain adaptation and instruction alignment in safety-critical settings. We study a two-stage LoRA pipeline for medical LLMs, where domain-oriented pre-training (PT) and supervised fine-tuning (SFT) are trained separately and later merged through weighted adapter merging. We observe that introducing PT signal can systematically alter model behavior and produce reasoning-style outputs, even when evaluation templates explicitly attempt to suppress such behavior. This interference leads to a divergence between surface metrics and reasoning or alignment behavior: BLEU/ROUGE scores drop significantly, while multiple-choice accuracy improves. We further show that small pipeline mistakes can easily misattribute SFT-only behavior to merged models, and provide a lightweight merge-verification routine to ensure correctness and reproducibility. Our findings highlight an interaction between knowledge injection and instruction alignment in adapter-based fine-tuning, with important implications for safety-critical model deployment.
• Abstract（参考訳）: 大規模な言語モデルは、安全クリティカルな設定でドメイン適応と命令アライメントを組み合わせる際に、驚くべきアダプタ干渉を示す可能性がある。 医学LLMのための2段階のLORAパイプラインについて検討し、ドメイン指向事前トレーニング(PT)と教師付き微調整(SFT)を個別に訓練し、その後、重み付けアダプタマージによりマージする。 評価テンプレートがそのような動作を明示的に抑制しようとする場合であっても、PT信号の導入はモデル動作を体系的に変更し、推論スタイルの出力を生成することを観察する。 BLEU/ROUGEスコアは大幅に低下し、多重選択精度は向上する。 さらに,小さなパイプラインミスは,SFTのみの動作をマージしたモデルに容易に悪影響を及ぼし得ることを示し,精度と再現性を確保するための軽量なマージ検証ルーチンを提供する。 本研究は,アダプタを用いたファインタニングにおける知識注入と命令アライメントの相互作用に注目し,安全性に重要なモデル展開に重要な意味を持つことを示す。

関連論文リスト

• MMedExpert-R1: Strengthening Multimodal Medical Reasoning via Domain-Specific Adaptation and Clinical Guideline Reinforcement [63.82954136824963]
  医療ビジョンランゲージモデルでは、現実世界のシナリオで必要とされる複雑な臨床推論を伴う知覚タスクが優れている。 本稿ではドメイン固有の適応とガイドライン強化を通じてこれらの課題に対処する新しい推論MedVLMを提案する。
  論文  参考訳（メタデータ） (2026-01-16T02:32:07Z)
• Benchmarking and Adapting On-Device Large Language Models for Clinical Decision Support [3.165122193962168]
  大規模言語モデル(LLM)は、臨床意思決定において急速に進歩している。 しかし、プロプライエタリなシステムのデプロイは、プライバシの懸念とクラウドベースのインフラストラクチャへの依存によって妨げられている。
  論文  参考訳（メタデータ） (2025-12-18T22:29:45Z)
• Fleming-R1: Toward Expert-Level Medical Reasoning via Reinforcement Learning [6.778254993886297]
  Fleming-R1は、3つの相補的な革新を通じて、医学的推論を検証するために設計されたモデルである。 まず、我々のReasoning-Oriented Data Strategy(RODS)は、キュレートされた医療用QAデータセットと知識グラフ誘導合成を組み合わせる。 第2に,教師モデルから高品質な推論軌跡を蒸留するために,CoTコールドスタート(Chain-of-Thought)を用いる。 第三に、検証可能なリワードフレームワークから2段階の強化学習を実装します。
  論文  参考訳（メタデータ） (2025-09-18T13:35:14Z)
• IAD-R1: Reinforcing Consistent Reasoning in Industrial Anomaly Detection [11.178131621535261]
  普遍的なポストトレーニングフレームワークであるIAD-R1は、異常検出機能を大幅に強化する。 IAD-R1は7つのVision-Language Model(VLM)で大幅に改善された IAD-R1はGPT-4.1やClaude-Sonnet-4といった商用モデルを上回るゼロショット設定である。
  論文  参考訳（メタデータ） (2025-08-07T09:34:45Z)
• Learning from Heterogeneous Structural MRI via Collaborative Domain Adaptation for Late-Life Depression Assessment [24.340328016766183]
  T1強調MRIを用いたLDD検出のための協調的ドメイン適応フレームワークを提案する。 このフレームワークは、ラベル付きソースデータに対する教師付きトレーニング、自己教師付きターゲット特徴適応、ラベルなしターゲットデータに対する協調トレーニングの3段階で構成されている。 マルチサイトT1強調MRIデータを用いて行った実験により、このフレームワークは最先端の非教師なし領域適応法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2025-07-30T01:38:32Z)
• DuEDL: Dual-Branch Evidential Deep Learning for Scribble-Supervised Medical Image Segmentation [2.708515419272247]
  我々はDuEDL(Dual-Branch Evi-dential Deep Learning)と呼ばれる新しいフレームワークを提案する。 提案手法は, 精度を犠牲にすることなく, モデルの信頼性と一般化能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-05-23T11:23:57Z)
• How Well Does GPT-4V(ision) Adapt to Distribution Shifts? A Preliminary Investigation [90.93999543169296]
  GPT-4Vは最も先進的な多モード基盤モデルとして機能する。 本研究は, GPT-4Vの動的環境における適応性と一般化能力について, 厳密に評価する。
  論文  参考訳（メタデータ） (2023-12-12T16:48:07Z)
• Customizing General-Purpose Foundation Models for Medical Report Generation [64.31265734687182]
  ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。 本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:02:36Z)
• Instrumental Variable Learning for Chest X-ray Classification [52.68170685918908]
  本稿では,素因果関係を排除し,正確な因果表現を得るための解釈可能な機器変数(IV)学習フレームワークを提案する。 提案手法の性能はMIMIC-CXR,NIH ChestX-ray 14,CheXpertデータセットを用いて実証した。
  論文  参考訳（メタデータ） (2023-05-20T03:12:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。